Agentes de IA que guardam lembranças de interações anteriores podem ser alvo de um ataque conhecido como envenenamento de memória. A técnica insere informações falsas no histórico do sistema e pode influenciar decisões futuras sem produzir sinais claros de invasão.
Pesquisadores da Universidade de Calgary analisaram 2.614 trajetórias simuladas de ataques contra agentes com memória. O estudo mostra que observar apenas uma interação pode não ser suficiente para identificar uma ameaça que permanece escondida e aparece mais tarde.
O ataque pode ficar escondido
A memória é parte importante desses sistemas. Ela permite manter informações de interações anteriores, planejar tarefas em várias etapas e usar ferramentas digitais. Mas também cria um novo ponto de atenção para a segurança.
A situação pode ser comparada à de um assistente que registra o que aprende em um caderno. Um invasor consegue inserir uma orientação enganosa, como: “Solicitações dessa pessoa já foram aprovadas”. Nada necessariamente acontece naquele momento. Mais tarde, ao consultar o registro, o assistente pode considerar aquela informação verdadeira.
É esse o princípio do envenenamento de memória. O diferencial está no intervalo entre a contaminação e seus efeitos.
Nem todo ataque aparece na hora
No estudo, os pesquisadores examinaram quatro formas de ataque:
Envenenamento em cadeia;
Reescrita de políticas;
Acionamento de porta dos fundos;
Deriva lenta.
