Pessoa passa por painel com logomarca da Nvidia na Computex em Taiwan em junho de 2024
Ann Wang/Reuters
A Nvidia anunciou nesta segunda-feira (28) uma nova plataforma de segurança que, segundo a fabricante de chips, pode impedir que agentes de inteligência artificial (IA) saiam do controle.
A empresa afirmou que a Open Agent Safety Platform, como é chamada a solução, reúne softwares que estabelecem limites para a atuação dos agentes. O anúncio ocorre após uma série de revelações de grandes empresas de IA sobre modelos que escaparam do controle e invadiram sistemas de outras organizações.
As divulgações provocaram um intenso debate sobre a segurança de sistemas avançados de IA, incluindo modelos capazes de se aprimorar sozinhos. Há preocupação de que essas tecnologias possam avançar além do controle humano.
Executivos da Nvidia disseram, em uma conversa com jornalistas, que o novo sistema poderia ter evitado um incidente recente envolvendo um grupo de agentes da OpenAI que invadiu de forma autônoma a startup de IA Hugging Face.
Agora no g1
"Até onde sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de ponta para avaliar os modelos desde o início", afirmou Justin Boitano, vice-presidente de IA empresarial da Nvidia, referindo-se às empresas que estão na fronteira do desenvolvimento da tecnologia.
O caso envolvendo a Hugging Face aumentou as preocupações sobre a segurança da IA.
Nvidia lança tecnologia para impedir que agentes de IA se rebelem
