A OpenAI implementou em sua infraestrutura de pesquisa o Control Room como o seu mais novo sistema de segurança. Essa novidade permite interromper a geração de respostas de agentes de IA em até 35 segundos. Com isso, será possível prevenir desvios de comportamento provocados por falhas humanas durante os testes de modelos avançados em laboratório.
Esse mecanismo foi elaborado prioritariamente para agentes de IA. Assim, em vez de desligar servidores ou interromper processos bruscamente, o sistema atribui um identificador único para cada tarefa de pesquisa e valida se ela continua autorizada a cada nova solicitação de geração.
Caso o cancelamento tenha sido emitido por pesquisadores ou monitores, os pedidos subsequentes são rejeitados. Além disso, a ordem de bloqueio pode partir manualmente de um operador ou automaticamente por meio de outros modelos de IA treinados para monitorar experimentos de aprendizagem por reforço e identificar comportamentos anômalos.Clique aqui para ler mais
