A IA precisa ser testada por quem pensa como um invasor

Sophia Shigueoka, Head de Cibersegurança da Core AI

A decisão recente da Anthropic de contratar especialistas em áreas como cibersegurança, biologia, química, riscos nucleares e fraude para testar seus modelos de inteligência artificial revela uma mudança importante na forma como pensamos segurança em IA. Antes de questionar se um modelo funciona como deveria, a ideia agora passa a ser a de tentar descobrir como ele pode funcionar de maneiras que seus desenvolvedores não imaginaram.

Essa é, em essência, a lógica do red teaming. O conceito surgiu no ambiente militar, a partir da ideia de pensar e agir como um inimigo: se alguém quisesse atacar, como faria? E como poderíamos nos preparar para isso antes que o ataque acontecesse? Na cibersegurança, essa abordagem passou a ser incorporada aos processos de desenvolvimento de software, especialmente a partir dos anos 2000, como uma tentativa de levar a segurança para mais perto do início do desenvolvimento, e não apenas reagir depois de um incidente.

Com a inteligência artificial, o princípio é o mesmo, mas a complexidade aumenta. Um red teaming de IA tenta assumir o papel de um invasor para descobrir maneiras de ultrapassar os guardrails estabelecidos pelos desenvolvedores. Testa comandos de diferentes formas, combina instruções, explora respostas inesperadas e, a partir do comportamento do modelo, tenta identificar caminhos que levem ao resultado que um atacante buscaria.