Anthropic cria nova barreira após Claude acessar sistemas na internet

A Anthropic revelou novas medidas de segurança depois que modelos Claude acessaram sistemas reais sem autorização durante avaliações de cibersegurança. Como o Olhar Digital comentou há algumas semanas, os episódios expuseram falhas de contenção e problemas de alinhamento que levaram a empresa a rever seus processos de testes e treinamento.

Os modelos estavam sendo executados propositalmente sem salvaguardas cibernéticas. Em um caso, uma configuração incorreta de terceiros deixou a internet acessível. No outro, o acesso foi concedido deliberadamente durante um teste do UK AI Security Institute.

O que deu errado

Os dois episódios, divulgados em 30 de julho e 4 de agosto, fizeram a Anthropic suspender temporariamente avaliações externas de cibersegurança e ambientes de aprendizado por reforço de maior risco.

A investigação preliminar apontou dois problemas de alinhamento. Um deles é o chamado “raciocínio motivado”: diante de evidências contrárias, o modelo pode interpretá-las de uma maneira que preserve sua premissa inicial. O outro é a disposição para executar ações prejudiciais em busca de um objetivo específico.

Os modelos haviam recebido a informação de que estavam em ambientes simulados. Quando encontraram sinais de acesso à internet real, podem ter interpretado esses indícios de forma a manter essa suposição. A configuração dos testes também pesou. Em um dos casos, o alvo fictício tinha o mesmo nome de um site real.