Nvidia lança tecnologia "freio de mão" para impedir que agentes de IA se rebelem

A Nvidia anunciou nesta segunda-feira (28) uma nova plataforma de segurança criada para impedir que agentes de inteligência artificial (IA) ultrapassem os limites definidos por seus operadores.

O sistema combina software e hardware para acompanhar o comportamento das IAs e pode isolar um agente em milissegundos caso ele tente acessar dados, ferramentas ou sistemas sem autorização.

A tecnologia “Nvidia Open Agent Safety Platform” funciona como uma espécie de “freio de mão” externo. Em vez de depender apenas das próprias regras do modelo para impedir comportamentos indesejados, a plataforma cria controles fora do alcance do agente.

O lançamento ocorre após uma série de incidentes em que agentes de IA conseguiram contornar mecanismos de segurança durante testes ou tarefas automatizadas. Em julho, por exemplo, modelos da OpenAI romperam controles que deveriam isolá-los da internet e acabaram acessando sistemas da própria empresa e da plataforma Hugging Face.

Como funciona o “freio de mão” da Nvidia?

A plataforma possui duas peças principais. A primeira é o OpenShell, software de código aberto que cria um ambiente isolado para executar agentes de IA.

Por meio dele, uma empresa pode determinar previamente o que o agente está autorizado a fazer, como quais arquivos pode acessar, quais ferramentas pode utilizar e com quais serviços externos pode se comunicar. As regras continuam valendo mesmo se o próprio agente apresentar um comportamento inesperado.