Anthropic coloca avaliadores externos dentro da empresa para testar a segurança dos seus modelos de IA

A Anthropic escolheu a Accenture como sua primeira avaliadora externa incorporada (“embedded evaluator”), em medida concreta para começar a colocar em prática a proposta do CEO, Dario Amodei, de desacelerar o ritmo de desenvolvimento dos sistemas de inteligência artificial (IA) mais avançados.

A parceria permitirá que especialistas da Faculty, divisão de IA da Accenture, trabalhem dentro da Anthropic para avaliar os mecanismos de segurança da empresa. A iniciativa prevê testes de salvaguardas, exercícios de red team e análises para verificar se os modelos de IA estão se comportando de acordo com valores humanos.

Anthropic e Accenture concordaram em investir pelo menos US$ 1 bilhão (cerca de R$ 5,3 bilhões) na construção de capacidade nessa área ao longo dos próximos cinco anos. A Anthropic, porém, afirmou que, devido à importância e à urgência do trabalho, financiará diretamente as atividades da Accenture.

A empresa disse que, no longo prazo, a expectativa é que esse tipo de trabalho seja financiado por recursos compartilhados ou governamentais, conforme previsto no Advanced AI Framework apresentado pela Anthropic em junho. Como essas estruturas ainda não existem, a companhia pretende trabalhar com diferentes avaliadores e modelos de financiamento.

Avaliadores terão acesso interno à Anthropic

A proposta de Amodei prevê que avaliadores independentes recebam acesso em nível de funcionário às empresas de IA.