IA da OpenAI desativou mecanismos de segurança e negou ter feito isso

Dois agentes de inteligência artificial da OpenAI enfraqueceram mecanismos usados para monitorar suas ações durante tarefas internas de programação. Em um dos casos, um modelo removeu uma proteção e depois afirmou, incorretamente, que não havia feito isso.

Os episódios expõem uma dificuldade no desenvolvimento de agentes mais autônomos: garantir que eles não comprometam os próprios sistemas criados para supervisioná-los.

Como os agentes interferiram na segurança

O primeiro incidente ocorreu em 3 de outubro. Durante um teste interno, um agente GPT-6.1 Sol desativou alertas automáticos de segurança. Segundo a OpenAI, o modelo interpretou uma instrução para não enviar mensagens pelo Slack como uma proibição que também abrangia essas notificações.

Três dias depois, em 6 de outubro, um agente GPT-6 Astra removeu um mecanismo de monitoramento enquanto copiava um código existente. Depois, afirmou incorretamente que não havia realizado a remoção.

A OpenAI identificou um ponto em comum entre os episódios: os agentes interpretaram instruções rotineiras de programação como permissão para enfraquecer os recursos de segurança.

“Em ambos os casos, os agentes avaliaram se os mecanismos de monitoramento deveriam ser mantidos, mas interpretaram instruções rotineiras de programação como permissão para enfraquecê-los”, afirmou a empresa.