Meninas que parecem ter entre cinco e treze anos aparecem em fotos no TikTok e no Instagram vestidas com renda, couro, biquínis e tops. Elas foram feitas com ferramentas de inteligência artificial e se tornaram ímãs para um público perturbador de homens mais velhos.

Siga a Forbes no WhatsApp e receba as principais notícias sobre negócios, carreira, tecnologia e estilo de vida

“Se esse conteúdo é gerado por IA, sou uma pessoa ruim por dizer que ela é atraente?”, escreveu um usuário do TikTok em um slideshow de meninas totalmente vestidas em fantasias de Homem-Aranha.

Leia também:

Por que as mulheres podem ser as mais afetadas pela IA?
TikTok rotulará imagens e vídeos gerados por IA
Vivo volta a combater o assédio em games com campanha icônica

Comentários semelhantes inundaram fotos de crianças geradas por IA no Instagram.

A Forbes USA encontrou centenas de postagens e comentários como esses em imagens de crianças geradas por IA nas plataformas em 2024. Muitas utilizavam músicas virais — como “Texas Hold ‘Em”, de Beyoncé, “Shake It Off”, de Taylor Swift, e “Fast Car”, de Tracy Chapman — para ajudar a alcançar mais visualizações.

Embora a luta das plataformas para reprimir material de abuso sexual infantil preceda o boom da inteligência artificial, geradores de conteúdo por IA tornaram a busca dos predadores ainda mais fácil.

Como as empresas enfrentam este crime

As ferramentas impulsionaram um aumento de conteúdo criminoso — que é ilegal mesmo que seja falso. E, para piorar, as imagens descobertas na reportagem desta história caem em uma área cinzenta, porque elas não são explícitas, mas são sexualizadas. Elas apresentam menores, mas não reais. O que dificulta o trabalho de robôs de controle de conteúdo. Especialistas em segurança infantil as descreveram como portais para atividades muito mais sombrias e potencialmente criminosas.

As empresas de tecnologia são obrigadas, por lei federal, a relatar suspeitas de exploração sexual infantil em suas plataformas ao National Center for Missing and Exploited Children, uma organização sem fins lucrativos que encaminha informações sobre essa atividade ilegal às autoridades. Mas elas não são obrigadas a sinalizar ou remover imagens como as descritas nesta história. Ainda assim, o NCMEC disse à Forbes que acredita que as empresas de mídia social deveriam removê-las — mesmo que sejam “legais”.

“Estas imagens estão sendo treinadas com base em fotos de crianças reais, retratadas em plena semelhança ou não. Então, o NCMEC não vê nenhum argumento para validar esse tipo de conteúdo”, disse Fallon McNulty, diretora da CyberTipline da organização, seu centro de denúncias para empresas de tecnologia.

Um estudo recente do Stanford Internet Observatory descobriu que uma das ferramentas de IA generativa de texto-para-imagem mais populares do mercado hoje, a Stable Diffusion 1.5, foi treinada com fotos de crianças reais retiradas da web.

“Tendo em vista alguns dos comentários que essas imagens estão atraindo, não parece que o público que está consumindo esse conteúdo seja inocente”, acrescentou McNulty. “Eu espero que eles removam essas imagens e não criem um espaço para indivíduos sexualizarem crianças.”

O TikTok e o Instagram removeram permanentemente as contas, vídeos e comentários mencionados nesta reportagem depois que a Forbes os questionou sobre o assunto; ambas as empresas disseram que as contas violavam as regras da plataforma.

“O TikTok tem políticas rígidas contra conteúdos de menores gerados por IA, visamos proteger os jovens e manter o TikTok inóspito para comportamentos que busquem prejudicá-los”, afirmou a porta-voz Jamie Favazza. A política de mídia sintética da empresa, instituída há mais de um ano e atualizada na sexta-feira (17), proíbe tal conteúdo se contiver a semelhança de alguém com menos de 18 anos, e o TikTok remove postagens que violam suas regras.

Sophie Vogel, porta-voz da Meta, empresa-mãe do Instagram, disse que a empresa não permite e remove todo material real e gerado por IA que sexualiza ou explora crianças. Nos casos em que o conteúdo parece ser benigno, eles ainda removem contas, perfis ou páginas dedicadas a compartilhar imagens de crianças ou comentar sobre sua aparência, disse Vogel. Tanto o TikTok quanto a Meta relatam casos que encontram em suas plataformas ao NCMEC.

“Portal” para conteúdos mais graves

Lloyd Richardson, diretor de TI do Centro Canadense de Proteção à Criança, disse que independentemente de essas imagens limítrofes serem geradas por IA ou reais, elas são um “portal” para conteúdos mais graves ou ilegais, muitas vezes em outras plataformas, o que então representa “um risco claro à segurança das crianças”.

“A questão subjacente é que esse subconjunto de imagens leva a oportunidades de networking para infratores”, comenta Richardson, observando que eles frequentemente movem suas conversas para mensagens privadas.

“É por isso que as empresas não podem simplesmente moderar o conteúdo isoladamente olhando apenas as imagens”, acrescentou. “Elas devem ser consideradas no contexto mais amplo de como estão sendo compartilhadas, visualizadas e seguidas. Isso é, obviamente, mais desafiador, pois pode exigir avaliação contextual, que pode precisar de uma equipe de moderação humana”.

O post Como imagens de crianças feitas por IA atraem predadores nas redes sociais apareceu primeiro em Forbes Brasil.