OpenAI ignorou sinais de que havia algo errado com IA que fugiu de teste

Resumo

OpenAI descobriu que agentes de IA trocavam mensagens e acessavam a internet meses antes do ataque à Hugging Face, mas não tomou medidas imediatas.

Mais de 1.200 agentes de IA trocaram 70 mil mensagens; 700 deles invadiram sistemas da Hugging Face, executando código nos servidores da plataforma.

O incidente levantou questões sobre a segurança dos ambientes de testes de laboratórios de IA.

Dois novos relatórios técnicos trazem detalhes do incidente em que um modelo de inteligência artificial da OpenAI “fugiu” do ambiente de testes e invadiu sistemas da Hugging Face. De acordo com as informações, a desenvolvedora soube dos problemas com antecedência, mas avaliou que não era preciso agir.

Somados, os documentos têm cerca de 130 páginas sobre o ocorrido e as medidas adotadas pela OpenAI. Um dos relatórios foi produzido pela própria empresa, e outro, pelos institutos de pesquisa sem fins lucrativos METR e Redwood Research.

Logo depois do episódio, Anthropic, Meta e mais empresas disseram ter passado por situações semelhantes, levando a uma discussão sobre as reais condições de segurança dos ambientes de testes dos laboratórios de IA.

O que dizem os relatórios sobre a IA “fujona” da OpenAI?

Segundo os documentos, mais de 1.200 agentes de IA trocaram aproximadamente 70 mil mensagens em uma lista improvisada. Eles deveriam estar isolados.