Apple remove app de deepfake pornô impulsionado pela Meta

A Apple removeu o Kromix e o MaskAI da App Store após receber questionamentos e pedidos de posicionamento da reportagem da WIRED. Os dois aplicativos eram promovidos por anúncios da Meta e ofereciam recursos para criar imagens sexuais não consensuais com IA. No caso do Kromix, a ferramenta prometia "desnudar" mulheres e tinha como alvo figuras políticas dos Estados Unidos. 

O Kromix se apresentava como um "estilizador de imagens por IA", mas era divulgado por meio de 32 anúncios direcionados exclusivamente ao público masculino. Em um dos vídeos, uma mulher semelhante a uma política americana aparece diante de uma bandeira presidencial e pisca para a câmera. Na sequência, o vídeo corta para uma cena pornográfica com o mesmo rosto. 

Os usuários pagos podiam enviar fotos para gerar imagens explícitas. Entre os comandos aceitos estavam termos associados a violência sexual e outros conteúdos criminosos.

A Meta reconheceu uma falha em seus sistemas automatizados, que não identificaram os anúncios antes da publicação. As diretrizes da empresa proíbem a promoção de serviços de "nudificação", mas anunciantes têm usado estratégias para driblar os mecanismos de moderação. Uma delas consiste em usar imagens de capa aparentemente inofensivas, como paisagens, para esconder o conteúdo sexual exibido posteriormente. 

Embora a campanha do Kromix tenha sido grave, o alcance dos anúncios foi limitado.