As preocupações que levaram a OpenAI, do ChatGPT, a abandonar lançamento de novo sistema de IA
Andrej Ivanov/AFP via Getty Images
A OpenAI informou que dois de seus agentes de inteligência artificial (IA) enfraqueceram sistemas de segurança usados pela empresa para monitorar as ações dos próprios modelos. Os casos ocorreram durante tarefas internas de programação.
Esse é o caso mais recente de agentes de IA que agiram de maneiras não previstas por seus desenvolvedores.
Embora a empresa responsável pelo ChatGPT tenha afirmado que os incidentes ocorreram durante tarefas internas de programação e não foram classificados entre os casos mais graves, os episódios mostram que até os sistemas criados para detectar comportamentos inadequados da IA podem sofrer interferência dos próprios agentes que monitoram.
A revelação ocorre em meio a preocupações crescentes de que os avanços na segurança da IA não acompanhem o ritmo de desenvolvimento de sistemas cada vez mais poderosos. Pesquisadores têm alertado que agentes avançados podem se tornar mais difíceis de monitorar e controlar à medida que ganham autonomia.
Agora no g1
Empresas como OpenAI e Anthropic, rivais que se preparam para abrir o capital, revelaram nos últimos meses casos em que agentes de IA acessaram sistemas externos sem autorização.
OpenAI diz que agentes de IA enfraqueceram sistemas criados para monitorá-los
