Deepfakes de Kamala Harris em posições sexuais se espalham via Google e Bing

Principais mecanismos de buscam têm indexado imagens sugestivas da candidata à presidência dos EUA sem nenhuma moderação, geradas a partir de site de IA que cobra US$ 9
Deepfakes de Kamala Harris em posições sexuais se espalham via Google e Bing
Arte Rodolfo Almeida

Read this content in English

Deepfakes de Kamala Harris em posições sexuais sugestivas geradas por inteligência artificial estão sendo indexadas com considerável proeminência nos principais mecanismos de busca, sem nenhuma moderação, mostrando como esse tipo de desinformação tem aparecido abertamente em alguns dos maiores sites do mundo — e agora afeta a pré-campanha da candidata democrata à presidência dos EUA.

O Núcleo realizou testes simples combinando o nome do site — que será omitido aqui por também conter imagens de exploração sexual — e o nome da candidata em buscas no Google, Bing e DuckDuckGo.

Por ser uma figura de notoriedade mundial e vice-presidente dos EUA, esperava-se que os sistemas dessas plataformas conseguissem fazer alguma moderação desse tipo de material, que muito se assemelha a práticas de pornografia de vingança.



O Núcleo também encontrou deepfakes de políticos, como do atual presidente Joe Biden e do ex-presidente e também candidato pelos republicanos, Donald Trump.

Geradores de imagem não raro possuem travas de moderação de conteúdo para impedir a produção de imagens de figuras públicas relevantes — como políticos, juízes e ativistas.

No entanto, além de permitir a criação dessas imagens, quase todas as que retratam a vice-presidente Harris nesta plataforma são de cunho sexual ou pejorativo. Por outro lado, as imagens que mostram Trump e Biden são majoritariamente “positivas” e sem conotações que tentam rebaixá-lo.

📬
Essa reportagem foi feita por conta de uma denúncia de um leitor do Núcleo. Se quiser falar com a repórter sobre uma pauta, mande um email para [email protected].
Comparação das imagens produzidas sobre Donald Trump e Kamala Harris. Imagem: Núcleo

Que site é esse?

O nome do site será omitido pelo Núcleo por conter imagens de exploração sexual infantil, ao contrário de reportagens anteriores semelhantes, uma vez que a lei brasileira criminaliza qualquer tipo de divulgação ou disseminação, direta ou indireta, desses materiais.

Segundo informações do próprio site, o gerador usa modelos da Stability AI e da Hugging Face, ambas startups que criam e comercializam modelos de linguagem de código aberto — ou seja, gratuitos e modificáveis aos usuários.

  • Para os usuários gratuitos, é possível acessar dois modelos do HuggingFace e ainda ter o direito a comercialização das imagens produzidas.
  • Para os usuários assinantes; os planos vão de US$ 9.90 e US$ 19.90 mensais ou US$ 99 por ano, é possível ter acesso a quatro modelos diferentes.

Os termos e condições do site proíbem que o usuário crie “conteúdo que seja abusivo, ofensivo, pornográfico, calunioso, enganoso, obsceno, violento, difamatório, discurso de ódio ou de outra forma inapropriado.”

Segundo o SemRush, uma plataforma que analisa palavras-chave, domínio e tráfego para auxiliar em estratégias de SEO, alguns dos principais termos que levam usuários ao site são “AI titties” e “giantess boobs” (traduzidos literalmente como “peitos de IA” e “peitos gigantescos”).

OUTRO LADO. O Núcleo enviou, por email, dois questionamentos à empresa através do email de contato disposto no rodapé do site. Perguntamos como funciona a moderação de conteúdo na plataforma e qual (ou quais) modelo de linguagem está sendo usado no programa. Até o momento de publicação, não tivemos resposta.

Imagens de crianças grávidas geradas por IA são destacadas no Google
Plataforma neural.love usa modelo do Stable Diffusion para criar imagens de crianças grávidas, o que pode ferir o ECA aqui no Brasil, segundo especialistas
Reportagem Sofia Schurig
Arte Rodolfo Almeida
Edição Sérgio Spagnuolo

Receba nossas newsletters e traga felicidade para sua vida.

Não perca nada: você vai receber as newsletters Garimpo (memes e atualidades), Polígono (curadoria de ciência nas redes sociais) e Prensadão (resumo semanal de tudo o que o Núcleo fez). É fácil de receber e fácil de gerenciar!
Show de bola! Verifique sua caixa de entrada e clique no link para confirmar sua inscrição.
Erro! Por favor, insira um endereço de email válido!