Pular para o conteúdo

Incidentes com IAs explodiram desde 2016

Desde 2019, iniciativa monitora incidentes e falhas envolvendo inteligência artificial no mundo – a primeira base de dados aberta dedicada ao tema. O Núcleo analisou essa série histórica em busca dos principais padrões

Incidentes com IAs explodiram desde 2016
Arte: Rodolfo Almeida

O volume de ocorrências envolvendo inteligência artificial disparou em 10 vezes em menos de uma década desde 2016, após a checada dos novos grandes modelos de linguagem e suas ferramentas digitais, de acordo com dados de um monitoramento independente.

OpenAI, Tesla, Google e Meta acumulam o maior número de incidentes ligados a IA no repositório aberto da AIAAIC, uma iniciativa que monitora falhas e promove transparência em sistemas de IA, algoritmos e automação.

💡
Antes da AIAAIC (sigla para AI, Algorithmic and Automation Incidents and Controversies), não existia um banco de dados aberto que organizasse esses casos. Fundada em 2019, a iniciativa foi pioneira ao catalogar incidentes por país, modelo, data e fontes de notícias, criando um panorama global dos riscos da tecnologia.

Saiba mais sobre a AIAAIC

O manifesto da AIAAIC destaca a necessidade de transparência e abertura genuínas em sistemas de inteligência artificial, algoritmos e automação. A organização defende que o poder tecnológico não pode ser monopolizado por interesses corporativos ou governamentais, mas precisa se traduzir em transparência, responsabilidade e participação democrática, assegurando que a inovação caminhe lado a lado com a ética e os direitos humanos.

Pownall alerta que, enquanto a indústria foca em riscos existenciais e catastróficos, danos concretos continuam sendo ignorados. Com novas legislações em andamento, o debate está mudando, mas as classificações de impacto ainda são limitadas, confusas e pouco flexíveis.

Se você quer acessar o repositório de incidentes e problemas envolvendo inteligência artificial catalogados pela AIAAIC, clique aqui.

O primeiro caso registrado pela AIAAIC data de 2008, quando duas editoras científicas retrataram 120 artigos após o pesquisador francês Cyril Labbé descobrir haverem sido gerados pelo SCIGen. Criado em 2005, o programa combina palavras aleatoriamente para produzir textos que imitam artigos acadêmicos.

A AIAAIC classifica eventos como problemas ou incidentes.

Problemas são preocupações públicas sobre um sistema de IA, mesmo sem evidências de danos. Eles podem envolver ética, impacto ambiental ou governança inadequada e, se não gerenciados, levar a incidentes.
Incidentes são eventos súbitos e públicos que causam interrupção, perda ou crise, como falhas de IA, vazamentos de dados ou conduta antiética de desenvolvedores. A maioria dos registros da AIAAIC se enquadra nessa categoria.

Arte: Rodolfo Almeida

Em 2024, embora os incidentes tenham recuado para 187 em relação ao ano anterior, os problemas dispararam para 188, o maior número registrado – somando 375 ocorrências, 10 vezes mais do que em 2016.

Esse aumento coincidiu com o crescimento no número de lançamentos de novos modelos de inteligência artificial por empresas, pesquisadores e outros grupos, e que teve um pico em 2023.

A maioria desses incidentes ocorreu nos Estados Unidos. A AIAAIC leva em conta a origem geográfica do sistema, incidente, problema ou dado.

Ou seja, se uma empresa americana desenvolve um modelo que gera deepfakes de celebridades, por exemplo, a organização registrará o evento como ocorrendo nos EUA, independentemente de seu impacto global.

Até 20.fev.2025, o Brasil tinha aparecido em 24 instâncias. O primeiro foi em 2018, quando a ViaQuatro, uma das concessionárias do metrô de São Paulo, foi obrigada judicialmente a parar de usar tecnologias de reconhecimento facial para análise de emoções.

Outra classificação registrada pela AIAAIC são os setores, ou seja, o setor da indústria (incluindo governo e organizações sem fins lucrativos) principalmente atingido.

No Brasil, os eventos registrados incluem mídia e entretenimento, política, transporte, varejo e até mesmo religião, como no caso em que um padre usou um drone para levar uma eucaristia ao altar durante uma missa. A congregação teria apoiado o ato, mas, ao ser compartilhado no Facebook, conservadores religiosos reclamaram que o ato foi “inapropriado”, “escandaloso” e uma “profanação”.

No contexto geral, a maioria dos incidentes e problemas envolve o setor de mídia e entretenimento, com 288 registros até 20.fev.2025. A maioria desses casos trata de questões de direitos autorais, como um incidente registrado em 2024, quando a Netflix usou IA para recriar a voz de Gabi Petito, vítima de assassinato, em uma série documental sobre sua morte.

Embora sejam apenas 25 setores diferentes, a AIAAIC já registrou mais de mil sistemas de IA envolvidos em incidentes ou problemas em sua base de dados.

Todos os setores catalogados pela AIAAIC

  1. Aeroespacial
  2. Agricultura
  3. Automotivo
  4. Bancário/serviços financeiros
  5. Beleza/cosméticos
  6. Serviços empresariais/profissionais
  7. Químicos
  8. Construção
  9. Bens de consumo
  10. Educação
  11. Alimentação/serviços alimentícios
  12. Jogos (apostar)
  13. Governo - residência/interior, bem-estar, polícia, justiça, segurança, defesa, relações exteriores, etc.
  14. Saúde
  15. Mídia/entretenimento/esportes/arte
  16. ONG/sem fins lucrativos/empreendimentos sociais
  17. Manufatura/engenharia
  18. Política
  19. Privado – indivíduo, família
  20. Vendas/gestão imobiliária
  21. Varejo
  22. Tecnologia
  23. Telecomunicações
  24. Turismo/lazer
  25. Transporte/logística

Os mais conhecidos, como os produzidos por big techs como Google, Meta e OpenAI, lideram os casos registrados como incidentes. No entanto, há 826 outros sistemas individuais ou menos conhecidos catalogados, incluindo modelos próprios e distribuídos localmente.

Além das big techs, a Tesla, empresa de carros autônomos do bilionário Elon Musk, também aparece no topo dessa lista. São 63 registros diferentes de casos em que os sistemas dos carros, comandados por IA, geraram problemas, incluindo casos de morte.

A AIAAIC classifica os incidentes envolvendo IA em diferentes grupos de issues — traduzidos pelo Núcleo como “motivos de controvérsia” para melhor compreensão. Esses grupos refletem preocupações sobre o sistema tecnológico, sua governança ou o uso indevido por terceiros.

As categorias de “precisão e confiabilidade” e “segurança”, com 361 e 268 registros, respectivamente, lideram a lista de incidentes registrados pela AIAAIC.

Entre os casos registrados, estão falhas no sistema de direção autônoma da Tesla. A AIAAIC documentou pelo menos vinte incidentes em que esse sistema falhou, resultando em acidentes fatais.

Na categoria de segurança, também estão registrados incidentes envolvendo robôs que usam IA para criar materiais pornográficos não consensuais ou de exploração sexual infantil. Um exemplo disso é a reportagem do Núcleo sobre bots no Telegram, que aparece no repositório da AIAAIC.

Lista de todos os “motivos de controvérsia”

As definições do que cada grupo representa são as seguintes:

  • Responsabilização: Ocorrências envolvendo a falha dos criadores, desenvolvedores ou implementadores de um sistema em responder a consultas, reclamações ou apelações, ou em permitir que terceiros auditem, investiguem e avaliem significativamente o comportamento humano e tecnológico do sistema e seus resultados.
  • Precisão e confiabilidade: Ocorrências envolvendo o grau de precisão com que um sistema atinge seus objetivos declarados e sua capacidade de operar de maneira consistente e confiável, sem deterioração, falhas ou mau funcionamento.
  • Viés e discriminação: Ocorrências envolvendo situações em que um sistema gera resultados sistematicamente injustos ou preconceituosos devido a falhas na governança, baixa qualidade dos dados ou suposições errôneas no processo de aprendizado de máquina.
  • Emprego: Ocorrências envolvendo o uso inadequado, antiético ou ilegal de IA no ambiente de trabalho, bem como o desenvolvimento e fornecimento de tais sistemas para fins relacionados ao emprego.
  • Desinformação: Ocorrências envolvendo informações ou dados que enganam usuários — seja de forma acidental ou intencional.
  • Privacidade: Ocorrências envolvendo a proteção da privacidade pessoal de usuários de sistemas de IA, algoritmos e automação, bem como das pessoas cujos dados foram ou estão sendo usados para treinar esses sistemas.
  • Segurança: Ocorrências envolvendo a segurança física e psicológica dos usuários e de outras pessoas impactadas por um sistema e sua governança.
  • Transparência: Ocorrências envolvendo o grau e como um sistema é compreensível para usuários, formuladores de políticas e outras partes interessadas.

Como fizemos isso

Acessamos o repositório público de incidentes da AIAAIC e utilizamos este script de R para analisar os dados, que foram então visualizados em gráficos interativos usando a ferramenta Flourish. O modelo GPT4, da OpenAI, foi utilizado para auxiliar na tradução de nomes de categorias e na sintaxe do código da análise.

🤖
Esta matéria tem uso de IA
Nessa reportagem nós usamos o modelo GPT 4.5, da OpenAI, para nos ajudar a traduzir nomes de categorias e fazer a sintaxe do código da análise. Sempre que usamos ferramentas de inteligência artificial, nós fazemos revisão humana, checamos as informações, garantimos que o conteúdo atende aos nossos critérios éticos e que tal utilização é necessária. Esse tipo de uso nos permite analisar um grande volume de dados mais rapidamente e de forma mais objetiva.

Se tiver um minuto, por favor participe de uma pesquisa para avaliar o uso de IA no jornalismo e o aviso que você acabou de ler.

Leia a nossa política de uso de inteligência artificial.
Reportagem Sofia Schurig
Arte e gráficos Rodolfo Almeida
Edição Alexandre Orrico e Rodolfo Almeida
Sofia Schurig

Sofia Schurig

Repórter com experiência na cobertura de direitos humanos, segurança de menores e extremismo online. É também pesquisadora na SaferNet Brasil e fellow do Pulitzer Center.

Todos os artigos
Rodolfo Almeida

Rodolfo Almeida

Rodolfo Almeida é jornalista visual. Graduado em Jornalismo pela PUC-SP e Mestre em design pela UFRJ, é membro do LabVis-UFRJ. No Núcleo, é responsável por materiais e reportagens visuais e gráficos.

Todos os artigos

Mais em Especiais

Ver tudo

Mais de Sofia Schurig

Ver tudo