Pesquisadores do Google DeepMind e da Universidade de Stanford revelaram um sistema inovador projetado para aumentar a precisão das respostas geradas por IA. Apelidado de Search-Augmented Factuality Evaluator (SAFE), este sistema representa um avanço significativo na busca para mitigar o fenômeno da “alucinação” em chatbots de IA. Alucinação, neste contexto, refere-se a casos em que a IA produz informações convincentes, mas factualmente incorretas. Embora tais fabricações possam ser menos preocupantes em aplicações generativas de IA para imagens ou vídeos, elas representam um problema significativo em aplicações baseadas em texto onde a precisão é basic.
Como funciona o SAFE: um processo de quatro etapas
O sistema SAFE opera através de um processo meticuloso de quatro etapas para garantir a veracidade do texto gerado por IA. Inicialmente, ele disseca a resposta dada em fatos individuais. Após essa segmentação, ele revisa esses fatos e realiza uma comparação com os dados recuperados da Pesquisa Google, garantindo que a relevância de cada fato para a consulta unique seja avaliada. Esta abordagem metódica permite que o SAFE avalie com eficácia a factualidade das respostas longas geradas por chatbots de IA.
Para avaliar a eficácia do SAFE, a equipe montou um conjunto de dados denominado LongFact, composto por aproximadamente 16.000 fatos. Eles então testaram o SAFE em treze Massive Language Fashions (LLMs) abrangendo quatro famílias distintas: Claude, Gemini, GPT-4 e PaLM-2. Os resultados foram promissores, com o SAFE alinhado com anotadores humanos em 72% dos casos. Além disso, em casos de discrepância entre o SAFE e os anotadores humanos, as avaliações do SAFE foram consideradas precisas em 76% das vezes.
Viabilidade Económica e Implicações Futuras
Um dos aspectos mais atraentes do sistema SAFE é a sua relação custo-eficácia. Segundo os pesquisadores, empregar o SAFE para fins de verificação de fatos é 20 vezes mais barato do que depender de anotadores humanos. Esta acessibilidade, juntamente com a sua elevada taxa de precisão, posiciona o SAFE como uma ferramenta potencialmente transformadora para aumentar a fiabilidade dos chatbots de IA em grande escala.
O desenvolvimento do SAFE chega num momento essential, à medida que a procura por conteúdos gerados por IA precisos e fiáveis continua a crescer. Ao enfrentar de frente o desafio da alucinação, o SAFE não só promete melhorar a experiência do utilizador, mas também aumenta a credibilidade da IA como ferramenta de disseminação de informação. À medida que esta tecnologia continua a evoluir, poderá desempenhar um papel basic na definição do futuro da comunicação e recuperação de informação orientada pela IA.
