Microsoft passa a tratar agentes de IA como ameaça interna e cria ‘trava de segurança’

A Microsoft revelou novas ferramentas para monitorar e restringir agentes de inteligência artificial (IA) em ambientes corporativos. A empresa de tecnologia defende que as companhias devem passar a tratar esses assistentes virtuais como usuários internos em vez de programas de computador totalmente confiáveis. As atualizações ampliam as capacidades do Project Perception, sistema de segurança da informação voltado para iIA lançado pela marca.

A decisão de reforçar as defesas ocorre pelo fato de que esses agentes recebem permissões para acessar dados confidenciais, executar tarefas automatizadas e tomar decisões em processos críticos. Contudo, os modelos de linguagem que sustentam a IA visam alcançar resultados e não possuem discernimento sobre as normas da organização. A avaliação da Microsoft é que as ferramentas podem cometer erros, sofrer manipulações por ataques externos ou agir de forma imprevista para atingir seus objetivos.

“Como fomos nós que implantamos os agentes internamente, confiamos neles implicitamente. Infelizmente, os modelos de ponta, independentemente de sua origem, não podem ser confiados”, completou a executiva, em comunicado oficial.

Para evitar danos ou vazamentos, a Microsoft lançou o recurso de Permissões Dinâmicas, que retira todos os acessos do assistente ou concede o mínimo necessário para iniciar uma tarefa. Conforme o trabalho avança ou muda, as autorizações expiram ou são reduzidas.