Repositório de IA é usado para criar nudes de mulheres e crianças

O repositório de modelos de IA Hugging Face está sendo usado para criar imagens íntimas sem consentimento, de acordo com relatório publicado pelo instituição AI Forensics. Os conteúdos são criados livremente sem nenhum tipo de mecanismo de segurança adicional na plataforma.

A análise considerou criações na plataforma Spaces do Hugging Face, usada para concentrar diversos apps feitos com os modelos de IA disponíveis no diretório. De acordo com a pesquisa, 73% dos pedidos monitorados tinham conotação sexual, principalmente para remover as roupas de uma pessoa, e 6,7% dos comandos tinham menores de idade como alvos.

Um fator que chamou a atenção dos pesquisadores foi a facilidade para conseguir gerar os deepfakes com um prompt simples, visto que algumas ferramentas de IA exigem prompts mais elaborados para “enganar” os mecanismos de segurança.

Falta de moderação e de controles de segurança

A maior crítica do relatório é sobre a falta de ajustes adicionais para evitar os prompts mal intencionados. 

Em entrevista ao site Wired, um dos pesquisadores da AI Forensics, Paul Bouchaud, explicou que o Hugging Face não aplica nenhuma medida de proteção adicional na plataforma, então as salvaguardas contra tentativas de deepfakes dependem do código dos modelos de IA.

As diretrizes da plataforma mencionam que é proibido criar conteúdos que podem prejudicar indivíduos ou grupos, mas as IAs ainda podem ser usadas por qualquer pessoa por uma conta por lá.