Três ex-funcionários demitidos da OpenAI estão pressionando a empresa a preservar a capacidade de monitorar como sistemas de inteligência artificial (IA) cada vez mais avançados raciocinam. Em carta enviada ao conselho de administração e a comitês de segurança da companhia, eles também defenderam a participação de auditores externos no acompanhamento dos riscos da tecnologia.
Os pesquisadores Jasmine Wang, Tomek Korbak e Mikita Balesni trabalharam anteriormente em equipes de segurança e alinhamento da OpenAI. Segundo a carta, eles estão preocupados com a possibilidade de empresas de IA perderem a capacidade de monitorar a chamada chain-of-thought, o registro escrito do processo de raciocínio de um sistema de IA.
Embora pesquisadores reconheçam que esse registro não seja um indicador perfeito do comportamento ou das intenções de um modelo, ele é considerado uma ferramenta importante para compreender sistemas de IA cada vez mais sofisticados.
“Como indústria, ainda não sabemos desenvolver e implementar com segurança modelos que não podemos monitorar.” A carta também afirma que a OpenAI e outras empresas que desenvolvem modelos de fronteira não deveriam avançar com tecnologias que reduzam ainda mais essa capacidade de monitoramento.
