A IA, por design, tem uma “mente própria”. Uma desvantagem disso é que os modelos de IA generativa ocasionalmente fabricam informações em um fenômeno chamado “Alucinações de IA”, um dos primeiros exemplos que ganhou destaque quando um juiz de Nova York repreendeu advogados por usarem um documento jurídico escrito pelo ChatGPT que fazia referência processos judiciais inexistentes. Mais recentemente, houve incidentes de mecanismos de busca gerados por IA que disseram aos usuários para consumirem pedras para obter benefícios à saúde ou para usarem cola não tóxica para ajudar o queijo a grudar na pizza.
À medida que a GenAI se torna cada vez mais omnipresente, é importante que os adoptantes reconheçam que as alucinações são, a partir de agora, um aspecto inevitável das soluções GenAI. Construídas em grandes modelos de linguagem (LLMs), essas soluções são frequentemente informadas por grandes quantidades de fontes díspares que provavelmente contêm pelo menos algumas informações imprecisas ou desatualizadas – essas respostas fabricadas representam entre 3% e 10% das respostas geradas pelo chatbot de IA às solicitações do usuário. À luz da natureza da “caixa preta” da IA – na qual, como seres humanos, temos uma dificuldade extraordinária em examinar exatamente como a IA gera os seus resultados – estas alucinações podem ser quase impossíveis de serem rastreadas e compreendidas pelos desenvolvedores.
Inevitáveis ou não, as alucinações de IA são frustrantes, na melhor das hipóteses, perigosas e, na pior, antiéticas.
Em vários setores, incluindo cuidados de saúde, finanças e segurança pública, as ramificações das alucinações incluem tudo, desde a propagação de desinformação e o comprometimento de dados sensíveis até acidentes potencialmente fatais. Se as alucinações continuarem a não ser controladas, o bem-estar dos utilizadores e a confiança da sociedade nos sistemas de IA ficarão ambos comprometidos.
Como tal, é imperativo que os administradores desta tecnologia poderosa reconheçam e abordem os riscos das alucinações de IA, a fim de garantir a credibilidade dos resultados gerados pelo LLM.
RAGs como ponto de partida para resolver alucinações
Um método que ganhou destaque na mitigação de alucinações é a geração aumentada de recuperação, ou RAG. Esta solução aumenta a confiabilidade do LLM através da integração de armazenamentos externos de informações – extraindo informações relevantes de um banco de dados confiável escolhido de acordo com a natureza da consulta – para garantir respostas mais confiáveis a consultas específicas.
Alguns especialistas do setor postularam que o RAG sozinho pode resolver as alucinações. Mas as bases de dados integradas no RAG ainda podem incluir dados desatualizados, o que poderá gerar informações falsas ou enganosas. Em certos casos, a integração de dados externos através de RAG pode até aumentar a probabilidade de alucinações em grandes modelos linguísticos: se um modelo de IA depende desproporcionalmente de uma base de dados desatualizada que percebe por estar totalmente atualizado, a extensão das alucinações pode tornar-se ainda mais grave.
AI Guardrails – Preenchendo lacunas do RAG
Como você pode ver, os RAGs são promissores para mitigar as alucinações de IA. No entanto, as indústrias e as empresas que recorrem a estas soluções também devem compreender as suas limitações inerentes. Na verdade, quando usados em conjunto com RAGs, existem metodologias complementares que devem ser usadas ao abordar alucinações LLM.
Por exemplo, as empresas podem empregar proteções de IA em tempo actual para proteger as respostas do LLM e mitigar as alucinações de IA. Guardrails atuam como uma rede que examina todas as saídas do LLM em busca de conteúdo fabricado, profano ou fora do tópico antes que ele chegue aos usuários. Essa abordagem proativa de middleware garante a confiabilidade e a relevância da recuperação em sistemas RAG, aumentando, em última análise, a confiança entre os usuários e garantindo interações seguras que se alinham com a marca da empresa.
Alternativamente, existe a abordagem de “engenharia de immediate”, que exige que o engenheiro altere o immediate mestre de back-end. Ao adicionar restrições pré-determinadas aos prompts aceitáveis – em outras palavras, monitorando não apenas onde o LLM está obtendo informações, mas também como os usuários estão solicitando respostas – os prompts projetados podem orientar os LLMs em direção a resultados mais confiáveis. A principal desvantagem dessa abordagem é que esse tipo de engenharia imediata pode ser uma tarefa incrivelmente demorada para os programadores, que muitas vezes já estão sobrecarregados de tempo e recursos.
A abordagem de “ajuste fino” envolve o treinamento de LLMs em conjuntos de dados especializados para refinar o desempenho e mitigar o risco de alucinações. Este método treina LLMs especializados em tarefas para extrair domínios específicos e confiáveis, melhorando a precisão e a confiabilidade na produção.
Também é importante considerar o impacto do comprimento da entrada no desempenho do raciocínio dos LLMs – na verdade, muitos usuários tendem a pensar que quanto mais extenso e cheio de parâmetros for o seu immediate, mais precisos serão os resultados. No entanto, um estudo recente revelou que a precisão dos resultados do LLM na verdade diminui conforme o comprimento da entrada aumenta. Consequentemente, aumentar o número de diretrizes atribuídas a qualquer immediate não garante confiabilidade consistente na geração de aplicações de IA generativas confiáveis.
Este fenómeno, conhecido como sobrecarga de prompts, destaca os riscos inerentes a designs de prompts excessivamente complexos – quanto mais amplamente um immediate é formulado, mais portas são abertas para informações imprecisas e alucinações à medida que o LLM se esforça para cumprir todos os parâmetros.
A engenharia imediata requer atualizações e ajustes constantes e ainda luta para prevenir eficazmente alucinações ou respostas absurdas. Os guardrails, por outro lado, não criarão riscos adicionais de resultados fabricados, tornando-os uma opção atraente para proteger a IA. Ao contrário da engenharia imediata, os guardrails oferecem uma solução abrangente em tempo actual que garante que a IA generativa criará apenas resultados dentro de limites predefinidos.
Embora não seja uma solução por si só, o suggestions do usuário também pode ajudar a mitigar as alucinações com ações como votos positivos e negativos, ajudando a refinar modelos, aumentar a precisão dos resultados e reduzir o risco de alucinações.
Por si só, as soluções RAG exigem experimentação extensiva para alcançar resultados precisos. Mas quando combinados com ajustes finos, engenharia rápida e grades de proteção, eles podem oferecer soluções mais direcionadas e eficientes para lidar com alucinações. A exploração dessas estratégias complementares continuará a melhorar a mitigação de alucinações em LLMs, auxiliando no desenvolvimento de modelos mais confiáveis e confiáveis em diversas aplicações.
RAGs não são a solução para alucinações de IA
As soluções RAG agregam imenso valor aos LLMs, enriquecendo-os com conhecimento externo. Mas com tanta coisa ainda desconhecida sobre a IA generativa, as alucinações continuam a ser um desafio inerente. A chave para combatê-los não reside em tentar eliminá-los, mas sim em aliviar a sua influência com uma combinação de barreiras estratégicas, processos de verificação e instruções aperfeiçoadas.
Quanto mais confiarmos no que a GenAI nos diz, mais eficaz e eficiente seremos capazes de aproveitar o seu poderoso potencial.
