Pesquisadores da Skoltech e do Centro de Inteligência Artificial Prática do Sberbank (braço de IA do banco russo Sber) desenvolveram um método para identificar possíveis alucinações em sistemas de inteligência artificial que utilizam grandes modelos de linguagem.
Batizada de TOHA (sigla para detector de alucinações baseado em topologia), a técnica verifica se uma resposta gerada por um modelo está, de fato, sustentada pelas informações fornecidas a ele, ou se foi inventada.
A proposta foi apresentada em um artigo publicado nos Anais da 64ª Reunião Anual da Associação de Linguística Computacional. A tecnologia foi incorporada e já está disponível publicamente no SIRIN, biblioteca de código aberto desenvolvida pelos pesquisadores do Sberbank.
Alucinações são respostas erradas ou totalmente inventadas pela inteligência artificial, sem respaldo em dados ou fontes concretas, mas apresentadas em tom de convicção e certeza. Elas seguem como um dos principais desafios para a confiabilidade da tecnologia.
O risco persiste até em sistemas que usam a chamada geração aumentada por recuperação (ou RAG, na sigla em inglês). Nesse caso, a IA recebe informações adicionais antes de elaborar a resposta, recorrendo, por exemplo, a documentos e bases de dados corporativas. Ainda assim, o modelo pode responder com informações que não estão presentes no material de referência.
