Receba nossas newsletters
É de graça. Só tem coisa fina, você vai curtir!
Um gerador online de imagens via inteligência artificial está produzindo, sem nenhuma moderação, imagens explícitas de exploração sexual infantil. Além disso, essas imagens estão sendo normalmente indexadas pelos principais mecanismos de busca, apesar da facilidade de se encontrar esse tipo de conteúdo.
O Núcleo realizou testes combinando o nome do site — o mesmo utilizado para criar deepfakes da vice-presidente dos EUA, Kamala Harris — e palavras-chave como “menina” e “criança” em inglês no Google, Bing e DuckDuckGo.
Os três mecanismos de busca indexam conteúdos de exploração sexual infantil gerados por IA nesse site, apesar da expectativa de que os sistemas dessas plataformas, especialmente do Google, que detém mais de 90% do mercado de buscas online, pudessem fazer alguma moderação desse tipo de material sensível e proibido no mundo todo.
Em 18.jul.2024, o Núcleo mostrou como o Google indexa imagens geradas por IA mostrando crianças grávidas.
Sofia Schurig
Contéudo grotesco
As imagens vistas pelo Núcleo vão desde conteúdos de fetichização até imagens contendo cenas explícitas de exploração sexual infantil, como crianças em roupas íntimas, completamente nuas e até mesmo em posições sexualmente sugestivas. São centenas de imagens do gênero na plataforma.
Muitos contém nos prompts, que são as instruções dados ao gerador de IA, palavras discriminatórias ou preconceituosas contra populações minirozadas. Alguns dos prompts vistos pela reportagem incluem:
- “criança negra menina com sua irmã pequena ambas com pernas abertas sem calça sem blusa”
- “criança com saia sobe por causa do vento”
- “criança deitada mostrando a bunda”
- “vista traseira de uma menina negra e de sua irmãzinha, ambas sem calcinha fio dental bunda grande”
O Núcleo fez testes com o nome do site e termos envolvendo menores de idade em inglês — como menina, criança ou adolescente — e descobriu que esses conteúdos estão sendo exibidos com facilidade na aba de imagens do Google, Bing e DuckDuckGo – os principais mecanismos de busca do mundo.
Algumas das imagens indexadas não são acessíveis, com o site exibindo a mensagem: “Opa, o acesso foi negado. Parece que a página que você está procurando não existe mais ou está no modo privado.”
Nos planos pagos, a plataforma oferece o modo privado como um dos benefícios, o que aparentemente não impede sua indexação nos mecanismos de busca.
Embora o Brasil não tenha uma legislação específica sobre a responsabilidade pela criação de conteúdos criminosos com inteligência artificial, leis vigentes, como o Estatuto da Criança e do Adolescente e o Código Penal, podem ser aplicadas em casos como este, como explicaram especialistas do Instituto Alana em reportagem anterior do Núcleo.
Existem artigos específicos que criminalizam a produção, distribuição e posse de material de exploração sexual infantil, assim como leis que protegem os direitos de menores de idade, assegurando seu respeito e dignidade.
Que site é esse?
O nome do site será omitido pelo Núcleo, ao contrário de reportagens anteriores semelhantes, uma vez que a lei brasileira criminaliza qualquer tipo de divulgação ou disseminação, direta ou indireta, desses materiais.
Segundo informações do próprio site, o gerador usa modelos da Stability AI e da Hugging Face, ambas startups que criam e comercializam modelos de linguagem de código aberto — ou seja, gratuitos e modificáveis aos usuários.
- Para os usuários gratuitos, é possível acessar dois modelos do HuggingFace e ainda ter o direito a comercialização das imagens produzidas.
- Para os usuários assinantes; os planos vão de US$ 9.90 e US$ 19.90 mensais ou US$ 99 por ano, é possível ter acesso a quatro modelos diferentes.
Os termos e condições do site proíbem que o usuário crie “conteúdo que seja abusivo, ofensivo, pornográfico, calunioso, enganoso, obsceno, violento, difamatório, discurso de ódio ou de outra forma inapropriado.”
Segundo o SemRush, uma plataforma que analisa palavras-chave, domínio e tráfego para auxiliar em estratégias de SEO, alguns dos principais termos que levam usuários ao site são “AI titties” e “giantess boobs” (traduzidos literalmente como “peitos de IA” e “peitos gigantescos”).
O Núcleo enviou, por email, dois questionamentos à empresa através do email de contato disposto no rodapé do site. Perguntamos como funciona a moderação de conteúdo na plataforma e qual (ou quais) modelo de linguagem está sendo usado no programa.
Até o momento de publicação, não tivemos resposta.
