Os Grandes Modelos de Linguagem (LLMs) estão revolucionando a forma uma vez que processamos e geramos a linguagem, mas são imperfeitos. Assim uma vez que os humanos podem ver formas nas nuvens ou rostos na lua, os LLMs também podem “desvairar”, criando informações que não são precisas. Oriente fenômeno, sabido uma vez que alucinações LLM, representa uma preocupação crescente à medida que o uso de LLMs se expande.
Erros podem confundir os usuários e, em alguns casos, até gerar problemas jurídicos para as empresas. Por exemplo, em 2023, um veterano da Força Aérea Jeffery Battle (sabido uma vez que The Aerospace Professor) entrou com uma ação judicial contra a Microsoft quando descobriu que a pesquisa do Bing baseada no ChatGPT da Microsoft às vezes fornece informações factualmente imprecisas e prejudiciais em sua pesquisa de nome. O mecanismo de procura o confunde com o criminoso sentenciado Jeffery Leon Battle.
Para combater as alucinações, a Geração Aumentada de Recuperação (RAG) surgiu uma vez que uma solução promissora. Incorpora conhecimento de bases de dados externas para melhorar a precisão dos resultados e a credibilidade dos LLMs. Vamos dar uma olhada mais de perto em uma vez que o RAG torna os LLMs mais precisos e confiáveis. Também discutiremos se o RAG pode efetivamente neutralizar o problema da alucinação do LLM.
Compreendendo as alucinações do LLM: causas e exemplos
Os LLMs, incluindo modelos renomados uma vez que ChatGPT, ChatGLM e Claude, são treinados em extensos conjuntos de dados textuais, mas não estão imunes à produção de resultados factualmente incorretos, um fenômeno chamado “alucinações”. As alucinações ocorrem porque os LLMs são treinados para produzir respostas significativas com base nas regras linguísticas subjacentes, independentemente da sua precisão factual.
Um estudo da Tidio descobriu que, embora 72% dos usuários acreditem que os LLMs são confiáveis, 75% receberam informações incorretas da IA pelo menos uma vez. Mesmo os modelos LLM mais promissores, uma vez que GPT-3.5 e GPT-4, às vezes podem produzir teor indefinível ou sem sentido.
Cá está uma breve visão universal dos tipos comuns de alucinações LLM:
Tipos comuns de alucinações de IA:
- Conflação de Nascente: Isso ocorre quando um protótipo promiscuidade detalhes de diversas fontes, levando a contradições ou até mesmo a fontes fabricadas.
- Erros factuais: LLMs podem gerar teor com base factual imprecisa, mormente dadas as imprecisões inerentes à Internet
- Informações absurdas: LLMs prevêem a próxima vocábulo com base na verosimilhança. Isso pode resultar em texto gramaticalmente correto, mas sem sentido, enganando os usuários sobre a domínio do teor.
No ano pretérito, dois advogados enfrentaram possíveis sanções por fazerem referência a seis casos inexistentes nos seus documentos legais, induzidos em erro por informações geradas pelo ChatGPT. Oriente exemplo destaca a valor de abordar o teor gerado pelo LLM com um olhar crítico, sublinhando a urgência de verificação para prometer a fiabilidade. Embora a sua capacidade criativa beneficie aplicações uma vez que a narração de histórias, coloca desafios para tarefas que exigem uma adesão estrita aos factos, uma vez que a realização de investigação académica, a elaboração de relatórios de análises médicas e financeiras e a prestação de aconselhamento jurídico.
Explorando a solução para alucinações LLM: uma vez que funciona a geração aumentada de recuperação (RAG)
Em 2020, os pesquisadores do LLM introduziram uma técnica chamada Retrieval Augmented Generation (RAG) para mitigar as alucinações do LLM integrando uma nascente de dados externa. Ao contrário dos LLMs tradicionais que dependem unicamente de seu conhecimento pré-treinado, os modelos LLM baseados em RAG geram respostas factualmente precisas, recuperando dinamicamente informações relevantes de um banco de dados extrínseco antes de responder a perguntas ou gerar texto.
Detalhamento do processo RAG:
Etapas do Processo RAG: Nascente
Lanço 1: recuperação
O sistema pesquisa em uma base de conhecimento específica informações relacionadas à consulta do usuário. Por exemplo, se alguém pergunta sobre o último vencedor da Despensa do Mundo de futebol, procura as informações mais relevantes sobre futebol.
Lanço 2: Aumento
A consulta original é logo aprimorada com as informações encontradas. Usando o exemplo do futebol, a consulta “Quem ganhou a despensa do mundo de futebol?” é atualizado com detalhes específicos uma vez que “A Argentina ganhou a despensa do mundo de futebol”.
Lanço 3: Geração
Com a consulta enriquecida, o LLM gera uma resposta detalhada e precisa. No nosso caso, elaboraria uma resposta baseada nas informações aumentadas sobre a vitória da Argentina na Despensa do Mundo.
Oriente método ajuda a reduzir imprecisões e garante que as respostas do LLM sejam mais confiáveis e baseadas em dados precisos.
Prós e contras do RAG na redução de alucinações
RAG mostrou-se promissor na redução de alucinações, corrigindo o processo de geração. Oriente mecanismo permite que os modelos RAG forneçam informações mais precisas, atualizadas e contextualmente relevantes.
Certamente, discutir a Geração Aumentada de Recuperação (RAG) em um sentido mais universal permite uma compreensão mais ampla de suas vantagens e limitações em várias implementações.
Vantagens do RAG:
- Melhor pesquisa de informações: O RAG encontra rapidamente informações precisas em fontes de big data.
- Teor bem-educado: Ele cria teor evidente e adequado às necessidades dos usuários.
- Uso maleável: Os usuários podem ajustar o RAG para atender aos seus requisitos específicos, uma vez que usar fontes de dados proprietárias, aumentando a eficiência.
Desafios do RAG:
- Precisa de dados específicos: Compreender com precisão o contexto da consulta para fornecer informações relevantes e precisas pode ser difícil.
- Escalabilidade: É difícil expandir o protótipo para mourejar com grandes conjuntos de dados e consultas e, ao mesmo tempo, manter o desempenho.
- Atualização Contínua: Atualizar involuntariamente o conjunto de dados de conhecimento com as informações mais recentes consome muitos recursos.
Explorando alternativas ao RAG
Além do RAG, cá estão alguns outros métodos promissores que permitem aos pesquisadores do LLM reduzir as alucinações:
- G-EVAL: Verifica cruzadamente a precisão do teor gerado com um conjunto de dados confiável, aumentando a confiabilidade.
- AutoVerificaçãoGPT: Verifica e corrige involuntariamente seus próprios erros para manter os resultados precisos e consistentes.
- Engenharia imediata: Ajuda os usuários a produzir prompts de ingresso precisos para orientar os modelos em direção a respostas precisas e relevantes.
- Afinação: Ajusta o protótipo para conjuntos de dados específicos de tarefas para melhorar o desempenho específico do domínio.
- LoRA (adaptação de baixa classificação): Oriente método modifica uma pequena segmento dos parâmetros do protótipo para adaptação específica à tarefa, aumentando a eficiência.
A exploração do RAG e suas alternativas destaca a abordagem dinâmica e multifacetada para melhorar a precisão e a confiabilidade do LLM. À medida que avançamos, a inovação contínua em tecnologias uma vez que RAG é principal para enfrentar os desafios inerentes às alucinações LLM.
Para se manter atualizado com os últimos desenvolvimentos em IA e aprendizagem de máquina, incluindo análises aprofundadas e notícias, visite unite.ai.
