AI washing e o caso IntelliVision: lições em ética e conformidade na IA

As tecnologias de reconhecimento facial têm moldado uma realidade em que rostos não apenas identificam, mas também conectam pessoas a serviços e experiências. De sistemas de segurança a serviços financeiros e varejo, o uso dessa tecnologia tem se expandido rapidamente, impulsionado por avanços na inteligência artificial e no aprendizado de máquina.

À medida que essas ferramentas se tornam cada vez mais presentes em diferentes setores, aumentam as preocupações com precisão, transparência e os impactos éticos das práticas empresariais relacionadas ao seu desenvolvimento.

Conheça o JOTA PRO Poder, plataforma de monitoramento que oferece transparência e previsibilidade para empresas

O caso da IntelliVision Technologies Corp., recentemente analisado pela Federal Trade Commission (FTC), ilustra os riscos associados a alegações infundadas sobre a eficácia de seu sistema de reconhecimento facial, evidenciando a necessidade de maior responsabilidade no desenvolvimento e comercialização de soluções tecnológicas.

A investigação da FTC revelou que as promessas da IntelliVision de alta precisão, ausência de vieses e eficiência na detecção de fraudes careciam de suporte em testes confiáveis ou evidências concretas. Em um dos exemplos mais marcantes, a empresa declarou que seu sistema havia sido treinado com milhões de imagens, mas a FTC constatou que apenas cerca de 100 mil imagens únicas foram utilizadas, complementadas por variantes artificiais, insuficientes para garantir diversidade e evitar vieses discriminatórios.

A FTC também identificou a ausência de documentação adequada sobre os testes realizados pela empresa, especialmente em relação ao desempenho do sistema em condições reais, como diferentes tons de pele e gêneros. Como resultado, a FTC emitiu uma ordem proibindo a IntelliVision de continuar com as declarações sobre a precisão, eficácia ou imparcialidade de sua tecnologia e determinou a implementação de medidas rigorosas de conformidade, como a realização de testes robustos, a manutenção de registros detalhados e o envio de relatórios periódicos à FTC por até 20 anos para comprovar que suas tecnologias atendem aos padrões declarados.

A discrepância entre o que foi prometido pela IntelliVision e a realidade técnica de seu sistema evidencia como alegações enganosas envolvendo tecnologias de IA podem gerar consequências significativas. Ao contrário de hipérboles comuns de marketing, afirmações infladas no contexto da IA podem ter impactos profundos, podendo gerar decisões injustas, comprometer a confiança pública em inovações tecnológicas e perpetuar desigualdades sistêmicas, impactando de forma desproporcional grupos já marginalizados.

Em aplicações de segurança, um erro de identificação pode resultar em prisões equivocadas, enquanto no setor financeiro pode restringir indevidamente o acesso a serviços bancários. Nos Estados Unidos, o caso de Robert Williams chamou atenção para esses problemas. Ele foi preso injustamente após um sistema de reconhecimento facial identificá-lo erroneamente como suspeito de um crime. Williams passou 30 horas detido antes que a polícia reconhecesse o erro. O episódio reforça como tecnologias imprecisas ou enviesadas podem gerar impactos reais e profundos na vida das pessoas, evidenciando a necessidade de mais rigor e transparência no desenvolvimento dessas ferramentas.

A atuação da FTC destaca a importância de reguladores atentos em mercados de rápida evolução. Decisões como essa reforçam a mensagem de que práticas enganosas não serão toleradas e enfatizam a transparência como pilar essencial no contexto da IA.

O caso IntelliVision não é um caso isolado. Tecnologias de reconhecimento facial têm sido alvo de escrutínio crescente. A Clearview AI, por exemplo, foi multada em € 20 milhões pela Autoridade Italiana de Proteção de Dados por violações de princípios como transparência e limitação de finalidade, decorrentes do uso de web scraping para criar bancos de dados biométricos.

O caso da IntelliVision também exemplifica um fenômeno crescente no mercado de inteligência artificial: o AI Washing. O termo refere-se à prática de empresas que exageram ou falsificam alegações sobre o uso de IA em seus produtos para se destacarem no mercado.

A US Securities and Exchange Commission (SEC) já multou assessorias em investimento como Delphia e Global Predictions, por fazerem promessas exageradas sobre a aplicação da IA em seus serviços financeiros. No Brasil, a Comissão de Valores Mobiliários (CVM) também tem acompanhado essa tendência, especialmente no setor financeiro, onde o uso de IA para análise de crédito e concessão de empréstimos pode afetar diretamente a vida dos consumidores.

Embora regras claras e fiscalização sejam importantes para garantir transparência e evitar abusos, a responsabilidade não pode recair apenas sobre reguladores. Para assegurar o impacto positivo das tecnologias, as próprias empresas precisam adotar práticas mais rigorosas, investindo em auditorias externas, garantindo que seus conjuntos de dados sejam representativos e implementando mecanismos internos de controle que assegurem conformidade e qualidade. Além disso, é essencial que os desenvolvedores considerem desde a concepção dos sistemas aspectos como equidade, segurança e explicabilidade, incorporando padrões rigorosos de governança e testes contínuos.

O caso da IntelliVision evidencia como alegações irreais a respeito dos sistemas de IA podem prejudicar consumidores, parceiros comerciais e a própria credibilidade do setor. A evolução tecnológica exige mais do que inovação: requer um compromisso com a responsabilidade.

Empresas que lidam com essas tecnologias precisam ir além de promessas vazias e assegurar que seus produtos sejam desenvolvidos e aplicados de forma ética, transparente e segura. O verdadeiro desafio não está apenas em evitar erros ou minimizar riscos, mas em assegurar que essas ferramentas poderosas sejam desenvolvidas e aplicadas para promover o bem comum, contribuindo positivamente para o futuro de uma sociedade mais justa e equitativa.