Pesquisadores da Universidade Estadual do Novo México identificaram uma vulnerabilidade que permite inserir informações maliciosas na memória de longo prazo de agentes baseados em modelos de linguagem. O estudo, divulgado em julho na plataforma arXiv, descreve um ataque capaz de alterar o comportamento futuro desses sistemas.
A técnica, batizada de GhostWriter, explora agentes de inteligência artificial que armazenam lembranças de interações anteriores para personalizar respostas e executar tarefas em nome dos usuários. Segundo os autores, essa característica amplia a conveniência, mas também cria uma nova superfície para ataques cibernéticos.
Além de detalhar o funcionamento da ameaça, os pesquisadores apresentaram uma estratégia de proteção destinada a reduzir as chances de que memórias falsas sejam gravadas e posteriormente utilizadas pelos agentes, sem comprometer significativamente o desempenho dessas ferramentas.
Ataque explora memória de longo prazo dos agentes
Os modelos de linguagem já são amplamente empregados em plataformas de conversação e em ferramentas capazes de responder perguntas, buscar informações, produzir textos e auxiliar em diversas atividades. Nos últimos anos, parte desses sistemas também passou a executar tarefas de forma autônoma, como responder mensagens, agendar compromissos e modificar códigos de programação.
Mais recentemente, desenvolvedores incorporaram mecanismos de memória persistente a esses agentes.
