Uma nova técnica de raciocínio que será utilizada pelo próximo modelo de inteligência artificial (IA) da OpenAI, chamado Astra, está preocupando especialistas em segurança de IA. O método, conhecido como “recurrent depth” ou “recorrência opaca”, permite que o modelo vá além do processo de pensamento sequencial característico da maioria dos modelos de raciocínio.
A preocupação está justamente no fato de que essa abordagem pode tornar o chamado chain of thought, ou cadeia de pensamento, mais difícil de monitorar. Para especialistas em segurança, isso pode reduzir a capacidade de acompanhar o que um modelo está fazendo internamente e identificar comportamentos potencialmente perigosos.
Segundo informações obtidas pelo The Information, o uso da técnica no Astra será limitado. Mesmo assim, a possibilidade de ampliar sua utilização no futuro já provocou reação entre pesquisadores da área.
Buck Shlegeris, CEO da Redwood, afirmou estar “extremamente preocupado” com os relatos sobre o uso da recorrência opaca no Astra.
“Não sei se o Astra é muito menos monitorável por CoT do que os modelos anteriores. Mas, se a OpenAI levar essa técnica adiante, terá a opção de aumentar enormemente a recorrência e destruir completamente a monitorabilidade por CoT”, escreveu o especialista.
Por que a técnica preocupa?
Em condições normais, um modelo de raciocínio apresenta uma sequência de etapas enquanto tenta solucionar um problema.
