Moonshot limita capacidades de seu modelo de IA mais avançado para evitar ataques hackers

A startup chinesa Moonshot AI anunciou que reduziu algumas das capacidades de seu mais novo modelo de inteligência artificial, o Kimi K3.1 Pro. A decisão foi tomada em meio a preocupações crescentes sobre o uso da IA para tornar ataques hackers mais sofisticados e baratos.

Com sede em Pequim, a empresa descreve a ferramenta como o seu modelo aberto mais avançado até o momento. Por essa configuração, ela permite que desenvolvedores externos executem e modifiquem a IA em seus próprios sistemas.

 Modelo não perdeu capacidades gerais

Para limitar o uso indevido da ferramenta, a Moonshot removeu dados relacionados a ciberataques do corpo de treinamento e dos ambientes de aprendizado por reforço usados no desenvolvimento do modelo.

Segundo a empresa, essa decisão impede usos indevidos, ao mesmo tempo em que protege as habilidades gerais de programação.

Os efeitos dessa filtragem foram medidos por um benchmark interno de cibersegurança: o K3.1 Pro obteve 81,0% no teste, contra 90,5% de uma versão equivalente sem as medidas de redução de risco.

O teste consistia em encontrar e explorar vulnerabilidades de software em ambiente controlado.

A Moonshot afirma que o resultado demonstra que a filtragem reduziu o desempenho ofensivo do modelo, embora ele ainda supere seu antecessor.

Os resultados não foram verificados de forma independente.

 Os desafios da IA aberta

Apesar da medida, a empresa chinesa reconhece que modelos abertos apresentam desafios específicos de controle.