No campo da inteligência artificial, a chamada abordagem centrada no ser humano ganhou amplo espaço na academia[1] e no debate regulatório[2]. Como estratégia regulatória, a noção reflete, em termos gerais, o imperativo de tecnologias baseadas em IA de atender às necessidades e bem-estar humanos, e incorporar o objetivo de proteger direitos fundamentais[3].
Nesse contexto, a intervenção humana é tratada como um tipo de medida importante para lidar com riscos de lesão a direitos e liberdades (v.g., viéses discriminatórios), como pode se ver tanto do texto legal do Regulamento 2024/1689 da UE, em relação aos sistemas de risco elevado[4], como no recente marco legal sul-coreano de IA, relativamente aos denominados sistemas de IA de alto impacto[5].
Assine gratuitamente a newsletter Últimas Notícias do JOTA e receba as principais notícias jurídicas e políticas do dia no seu email
O mecanismo não é novo, uma vez considerado o regime de leis de proteção de dados pessoais aplicável a sistemas de tomada de decisão automatizada[6]. O Regulamento Geral de Proteção de Dados (RGPD) da UE, por exemplo, estabelece o direito de obtenção de intervenção humana como uma salvaguarda aplicável[7] nos casos em que o regulamento autoriza a tomada de decisão exclusivamente com base no tratamento automatizado que produza efeitos jurídicos ou que o afete titular de dados significativamente[8].
Com sua idealização no direito de proteção de dados e expansão a marcos legais de IA da atualidade, o conceito de intervenção humana se torna, decerto, um conceito jurídico. Contudo, há pouca clareza em torno da categoria, desde sua função e contornos dogmáticos até a terminologia. Quanto a este aspecto, os termos utilizados são vários, “intervenção humana”, “revisão humana”, “supervisão humana”, “envolvimento humano”, entre outros.
O objetivo deste breve ensaio é mapear os usos do conceito de intervenção humana no âmbito da proteção de dados pessoais, essencialmente ancorada na interpretação do art. 20 da LGPD, e no texto PL 2.338/23, em discussão no Congresso Nacional. A relevância de tal mapeamento se revela na possibilidade de contribuição, de um lado, de a doutrina interpretar o conceito de forma coerente com suas razões sistemáticas, e, de outro lado, dos legisladores formularem ou aperfeiçoarem a proposta de marco legal de IA com coerência e sistematicidade.
Intervenção humana na LGPD
A LGPD estabelece, em seu art. 20, que o titular tem o direito de solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais que afetem seus interesses. Não existe uma proibição geral de decisões automatizadas, mas sim uma disposição que atribui um direito de revisão dessas decisões, desde que i) tenham sido tomadas exclusivamente por meio de um tratamento automatizado de dados pessoais, e ii) afetem os interesses dos titulares.
O texto legal vai ao ponto de exemplificar casos em que os interesses podem ser afetados, como na aplicação de perfis pessoais. Se uma decisão automatizada se enquadra nesses critérios, ela desencadeia não só o direito de revisão por parte do titular dos dados, mas também outras situações jurídicas, como o direito à informação sobre os fundamentos e critérios utilizados para tomar a decisão e uma prerrogativa administrativa da ANPD para realizar auditorias nesses sistemas[9].
A modificação do texto original durante o processo legislativo da MP 879/2018, que, por fim, removeu a alusão expressa à revisão humana do art. 20 da LGPD, um vigoroso debate entre os acadêmicos sobre a natureza do processo de revisão: ele deve ser conduzido por um ser humano ou pode ser realizado por uma máquina? A maioria dos trabalhos acadêmicos que surgiram desde então defende a importância de a revisão ser responsabilidade de pessoa natural.[10]
A matéria de governança de IA e de sistemas automatizados, existem diferentes mecanismos sobre a intervenção humana no processo decisório. O mecanismo do “human-in-the-loop” prevê a participação direta de uma pessoa natural, que pode interromper ou modificar o resultado gerado pelo sistema automatizado[11]. Já o esquema de “human-on-the-loop” envolve uma forma de supervisão e monitoramento humano[12], havendo a possibilidade de incorporação do recurso técnico de um “botão de pare”.
O mecanismo “human-out-of-the-loop”, por sua vez, não prevê monitoramento ou observação humana, a decisão fica a cargo do sistema automatizado. Tal mecanismo equivale à salvaguarda prevista no RGPD do direito de obter intervenção humana, e “pode ser definido como uma revisão de segunda etapa da decisão automatizada”[13], ativada mediante solicitação do titular dos dados[14].
Na linha da doutrina majoritária, o art. 20 da LGPD impõe a exigência de revisão humana, sendo esta um mecanismo human-out-of-the-loop. No entanto, não há definição clara sobre quais critérios devem ser observados para que essa revisão seja considerada efetiva. A experiência europeia sob o RGPD sugere que a revisão deve ser substancial, permitindo que um agente humano tenha acesso a informações compreensíveis sobre a lógica subjacente ao sistema automatizado e tenha autoridade para modificar decisões caso necessário[15]. No Brasil, a ausência de diretrizes específicas pode levar a situações em que a revisão humana seja apenas formal, sem real capacidade de alteração do resultado da decisão automatizada, o que compromete a proteção dos titulares de dados[16].
Intervenção humana no PL 2338
Formada no Senado, a Comissão de Juristas responsável por subsidiar elaboração de substitutivo sobre IA (CJSUBIA) incluiu no relatório final dos seus trabalhos um anteprojeto de lei que, em 3 de maio de 2023, foi convertido no PL 2338, apresentado pelo senador Rodrigo Pacheco (PSD-MG). Este projeto foi aprovado naquela casa legislativa e encaminhado à Câmara dos Deputados. De acordo com a proposta original, a intervenção humana era constituída essencialmente como direito da “pessoa afetada por sistema de inteligência artificial”.
Nesse sentido, o art. 5º, IV, previa sobre o “direito à determinação e à participação humana”, enquanto o art. 8º, IV, ao tratar do direito à explicação de outputs de sistemas de IA, previa o fornecimento de informação sobre a “possibilidade de solicitar intervenção humana”. O art. 10, por sua vez, dispunha sobre o direito de solicitar a intervenção ou revisão humana, quando decisão, previsão ou recomendação de sistema de IA “produzir efeitos jurídicos relevantes ou que impactem de maneira significativa os interesses da pessoa”, ressalva feita às situações de comprovada impossibilidade de efetuação da intervenção ou revisão humanas.
Ainda no capítulo sobre direitos, o art. 11 determinava o imperativo de “envolvimento humano significativo no processo decisório e determinação humana final” em situações de impacto irreversível ou de difícil reversão ou envolvam decisões que podem gerar riscos à vida ou à integridade física de indivíduos.
Para além das disposições do capítulo sobre direitos, a intervenção humana também foi prevista como princípio da “participação humana no ciclo da inteligência artificial e supervisão humana efetiva” (art. 3º, III), e como garantia para exercício dos direitos à explicação e à revisão humanas perante o poder público (art. 21, IV).
A tramitação e discussão do PL 2338 ensejou alterações no texto da proposta. No que diz respeito à intervenção humana, o Relatório 208/2024, que contém o texto aprovado no Senado, manteve vários pontos, todavia com modificações significativas.
Além do enxugamento da disciplina sobre os direitos, as modificações que merecem destaque foram a atribuição de certos direitos a “pessoa ou grupo afetado por sistema de IA de alto” (art. 6º) – inclusive o “direito à revisão humana de decisões” –, e a explicitação da finalidade da “supervisão humana” de “prevenir ou minimizar os riscos para direitos e liberdades das pessoas ou grupos afetados” (art. 8º).
Considerações finais
A partir desse inicial mapeamento do conceito de intervenção humana no direito de proteção de dados brasileiro e de uma das mais importantes propostas de regulação de IA no país, alguns apontamentos e perguntas podem ser feitos. O primeiro, e talvez mais importante, é a necessidade de se pensar e construir juridicamente a intervenção humana de forma coerente no sistema jurídico, considerando a disciplina da LGPD.
Muito embora o regime de proteção de dados se aplicar a sistemas de IA que tratam dados pessoais, eventual regulação de IA deve ter em consideração o mecanismo de intervenção humana já contemplado na LGPD, cuja razão sistema está amparada no fim de mitigar riscos a direitos e liberdades fundamentais. Maior rigor terminológico também é importante cuidado para evitar confusão a respeito dos mecanismos de intervenção humana, eis que, por exemplo, esta não se resume a revisão humana, bem como a revisão não é sinônimo de supervisão humana.
Para a doutrina em especial, cabe o papel de pensar criticamente sobre os contornos dogmáticos e categorias aplicáveis. Qual a natureza jurídica do instituto da intervenção humana? Pode ser qualificada como conjunto de salvaguardas de caráter procedimental? Quais situações jurídicas amparam dado mecanismo de intervenção humana? Seria uma faculdade a ser exercida no interno de uma posição jurídica de direito subjetivo, ou um dever de conduta do controlador ou agente de IA?
Esse importante papel crítico é salientado pelo escopo e razão sistemática da intervenção humana de instrumento de mitigação de riscos a direitos e liberdades fundamentais. De acordo com António Hespanha, a redemocratização e a promulgação da Constituição de 1988 fomentaram a sensibilidade dos juristas brasileiros às muitas desigualdades que permeiam nossa sociedade. Essa é uma característica que informa a interpretação jurídica “emancipatória” da legislação, das doutrinas e dos conceitos jurídicos[17].
Assim, em última análise, construção dogmática e interpretação jurídica crítica da intervenção humana também tem um papel a desempenhar no enfrentamento dos problemas sociais no Brasil.
[1] Cf. A abordagem compreende diferentes áreas e agendas de pesquisa, como demonstram Tara Capel e Margot Brereton. As autoras propõem a seguinte definição de inteligência artificial centrada no ser humano: “Human-Centered Artifcial Intelligence utilizes data to empower and enable its human users, while revealing its underlying values, biases, limitations, and the ethics of its data gathering and algorithms to foster ethical, interactive, and contestable use”. CAPEL, Tara; BRERETON, Margot. What is Human-Centered about Human-Centered AI? A Map of the Research Landscape. 2023 CHI Conference on Human Factors in Computing Systems. Anais… New York: Association for Computing Machinery. Disponível em: https://dl.acm.org/doi/10.1145/3544548.3580959. Acesso em: 16 mar. 2025.
[2] Cf. CONSELHO DA EUROPA. Explanatory Report to the Council of Europe Framework Convention on Artificial Intelligence and Human Rights, Democracy and the Rule of Law. Disponível em: https://rm.coe.int/1680afae67. Acesso em: 14 mar. 2025; UNIÃO EUROPEIA. Regulamento (UE) nº 2024/1689 do Parlamento Europeu e do Conselho, de 13 de junho de 2024, que cria regras harmonizadas em matéria de inteligência artificial e que altera os Regulamentos (CE) n.o 300/2008, (UE) n.o 167/2013, (UE) n.o 168/2013, (UE) 2018/858, (UE) 2018/1139 e (UE) 2019/2144 e as Diretivas 2014/90/UE, (UE) 2016/797 e (UE) 2020/1828 (Regulamento da Inteligência Artificial). Jornal Oficial da União Europeia, Estrasburgo, 12/07/2024. Disponível em: http://data.europa.eu/eli/reg/2024/1689/oj. Acesso em: 14 mar. 2025.
[3] ENQVIST, Lena. ‘Human oversight’ in the EU artificial intelligence act: what, when and by whom? Law, Innovation and Technology, [s.l.], v. 15, n. 2, p. 508–535, 2023, p. 511; STERZ, Sarah et al. On the Quest for Effectiveness in Human Oversight: Interdisciplinary Perspectives. The 2024 ACM Conference on Fairness, Accountability, and Transparency (FAccT ’24), Jun. 2024, Rio de Janeiro, Brazil. Anais…Association for Computing Machinery, 2024. Disponível em: <http://arxiv.org/abs/2404.04059>. Acesso em: 02 mar. 2025.
[4] O art. 14 do Regulamento estabelece uma obrigação geral supervisão humana aos sistemas de risco elevado.
[5] A lei da Coreia do Sul dispõe sobre a obrigação de supervisão humana para sistemas de IA de alto impacto, conforme art. 34, 4.
[6] Entre outros, vide WIMMER, Miriam; DONEDA, Danilo. “Falhas de IA” e a Intervenção Humana em Decisões Automatizadas: Parâmetros para a Legitimação pela Humanização. Revista Direito Público, Brasília, v. 18, n. 100, p. 374–404, out./dez. 2021; GREEN, Ben. The flaws of policies requiring human oversight of government algorithms. Computer Law and Security Review, [s.l.], v. 45, 2022; LAZCOZ, Guilhermo; DE HERT, Paul. Humans in the GDPR and AIA governance of automated and algorithmic systems. Essential pre-requisites against abdicating responsibilities. Computer Law and Security Review, [s.l.], v. 50, 2023.
[7] Art. 22 (3) do RGPD.
[8] Art. 22 (2) do RGPD.
[9] Art. 20, §1º, da LGPD.
[10] BERGSTEIN, L.; GAMA, F. DE C. A.; CÂMARA, M. A. Proteção de Dados Pessoais e as Decisões Automatizadas nas Relações de Consumo: Os Direitos à Explicação e Revisão. Revista de Direito do Consumidor, v. 140, n. mar./abr., p. 359–385, 2022; WIMMER, Miriam; DONEDA, Danilo. Op. cit., p. 399-400; NEGRI, Sérgio M. C. A.; KORKMAZ, Maria Regina R. Decisões automatizadas e a proteção de crianças e adolescentes. In: LATERÇA, P. ; FERNANDES, E.; DE TEFFÉ, C.; BRANCO, S. (coords.). Privacidade e proteção de dados de crianças e adolescentes. Rio de Janeiro: ITS Rio, 2021. p. 117-137; KORKMAZ, Maria Regina R. Decisões automatizadas: explicação, revisão e proteção na era da inteligência artificial. São Paulo: Thomson Reuters Brasil, 2023. De outro lado, Souza, Perrone e Magrani sustentam que a revisão humana não é obrigatória, mas sim uma prática recomendada: SOUZA, Carlos Affonso; PERRONE, Christian; MAGRANI, Eduardo. O direito à explicação entre a experiência europeia e a sua positivação na LGPD. In: DONEDA, Danilo et al. (Coords.). Tratado de proteção de dados pessoais. Rio de Janeiro: Forense, 2021. p. 267. Vide ainda: ALMADA, Marco; MARANHÃO, Juliano. Contribuições e Limites da Lei Geral de Proteção de Dados para a Regulação da Inteligência Artificial no Brasil. Direito Público, Brasília, v. 20, n. 106, p. 385–413, 2023, p. 391.
[11] ENARSSON, Terese; ENQVIST, Lena; NAARTTIJÄRVI, Markus. Approaching the Human in the Loop–Legal Perspectives on Hybrid Human/Algorithmic Decision-Making in Three Contexts. Information and Communications Technology Law, [s.l], v. 3,1 123-153, 2022, p. 124.
[12] FISCHER, J. E. et al. In-the-loop or on-the-loop? Interactional arrangements to support team coordination with a planning agent. Concurrency and Computation: Practice and Experience, [s.l], v. 33, n. 8, 2021.
[13] LAZCOZ, Guilhermo; DE HERT, Paul. Humans in the GDPR and AIA governance of automated and algorithmic systems. Essential pre-requisites against abdicating responsibilities. Computer Law and Security Review, [s.l.], v. 50, 2023, p. 8.
[14] Cf. BRKAN, Maja. Do algorithms rule the world? Algorithmic decision-making and data protection in the framework of the GDPR and beyond. International Journal of Law and Information Technology, v. 27, n. 2, p. 91–121, 2019, p. 107; MALGIERI, Gianclaudio. Automated decision-making in the EU Member States: The right to explanation and other “suitable safeguards” in the national legislations. Computer Law and Security Review, v. 35, n. 5, 2019, p. 22.
[15] UNIÃO EUROPEIA. Tribunal de Justiça da União Europeia. Caso n. C-203/22 Dun & Bradstreet Austria, 2025. Disponível em: https://curia.europa.eu/juris/document/document.jsf;jsessionid=929C77D3D95EE898C857978CC729E8E8?text=&docid=295841&pageIndex=0&doclang=EN&mode=lst&dir=&occ=first&part=1&cid=14181581. Acesso em: 17 mar. 2025.
[16] MONTEIRO, Renato L. Desafios para a efetivação do direito à explicação na Lei Geral de Proteção de Dados do Brasil. Tese de doutorado, Universidade de São Paulo, 2022, p. 69.
[17] HESPANHA, A. M. As Culturas Jurídicas Dos Mundos Emergentes: O Caso Brasileiro. Revista da Faculdade de Direito UFPR, v. 56, p. 1–10, 2012.
