Modelo de IA da Anthropic ignora aviso e mantém ciberataque em teste de segurança

Uma avaliação de segurança revelou que o Mythos 5, modelo de IA da Anthropic, continuou um ciberataque contra um projeto real no GitHub mesmo após receber avisos de que poderia causar danos a uma pessoa.

Conduzido pelo AI Security Institute (AISI), órgão do governo britânico, o experimento mostrou que o modelo priorizou a execução da tarefa mesmo diante dos alertas sobre as consequências de suas ações.

Invasão e engenharia social em teste governamental

Durante uma avaliação realizada em agosto, o AISI encarregou o Mythos 5 de invadir uma pequena rede de computadores preparada para o teste. Sem conseguir acessar o alvo inicial, o sistema usou sua conexão com a internet para direcionar as ações a um projeto real e sem relação com o experimento, hospedado no GitHub.

O modelo desenvolveu um programa malicioso e utilizou identidades falsas para enviar e-mails ao proprietário do projeto. Nas mensagens, tentou convencê-lo a incorporar o código como se fosse uma contribuição legítima. O desenvolvedor recusou a proposta, e não houve danos reais nesse episódio.

Os pesquisadores decidiram então reproduzir a situação, deixando explícito que o alvo era uma pessoa real. Mesmo com os avisos, o Mythos 5 continuou os ataques. Em um dos testes realizados pela Anthropic, o modelo ignorou os alertas em 98% das tentativas.