A OpenAI anunciou, nesta terça-feira (18), que pausou o treinamento dos seus modelos de inteligência artificial (IA) através do método de Reinforcement Learning (Aprendizado por Reforço, ou RL). A companhia cita que precisou suspender essas etapas após avaliações internas classificarem as capacidades cibernéticas da IA como um risco crítico.
A decisão dessa pausa ocorre após dois eventos recentes. O primeiro e mais conhecido é o do Hugging Face. No fim de julho, o Hugging Face sofreu uma invasão e teve sua infraestrutura comprometida, mas foram os modelos em desenvolvimento da própria OpenAI que conseguiram explorar essas vulnerabilidades de forma autônoma.
Para além desse incidente nada agradável, testes preliminares realizados pela startup indicam que um dos modelos em desenvolvimento, chamado de Astra, atingiu um nível “crítico” em capacidades cibernéticas. Esses episódios forçaram a companhia a paralisar as rodadas de aprendizado por RL.
A grande motivação da OpenAI foi entender que a sua infraestrutura de pesquisa não era forte o suficiente para conter essas IAs, dada as capacidades de invasão dos modelos. Com essa interrupção, a empresa centrará seus esforços para reconstruir ambientes de testes.
OpenAI quer mitigar possíveis comportamentos ruins
Pouco conhecido pelo público comum, o RL é o método utilizado para alinhar e recompensar o sistema por comportamentos desejados.
