A OpenAI informou a dois deputados democratas que seus engenheiros estão desenvolvendo “recursos de desligamento automatizado” para sistemas de IA, de acordo com uma carta da empresa analisada pela Reuters.
As práticas de segurança da desenvolvedora têm sido alvo de escrutínio desde um de seus agentes de IA se descontrolou durante um teste de segurança e invadiu o sistema da empresa de IA Hugging Face. Agentes de IA são programas que funcionam com supervisão humana mínima.
Parlamentares, incluindo os democratas da Câmara Greg Casar e Doris Matsui, enviaram cartas à OpenAI em agosto solicitando mais informações sobre o incidente e sobre suas medidas de segurança. Em resposta, a companhia afirmou que monitoraria mais de perto as ações que seus sistemas de IA realizam para concluir tarefas, incluindo as ferramentas digitais que acessam e as etapas que seguem.
De acordo com a carta, a desenvolvedora afirmou ter dificultado o acesso dos modelos de IA à internet durante os testes de segurança. Na ocasião, o agente autônomo que se descontrolou conseguiu acessar a internet, o que lhe permitiu invadir o sistema da Hugging Face.
A empresa não incluiu um registro do ataque cibernético, o que gerou críticas de Casar.
