Entropia dos Algoritmos: É Possível Se Falar em Equidade Algorítmica?

Paola Cantarini1

RESUMO

A inteligência artificial produz diversas mudanças em todos os setores sociais, em especial no Direito, bem como ocorre a virtualização do nosso eu e a gestação de novas subjetividades, em contínua mutação. Diante de tais alterações qual seria o conceito apropriado de ser humano, bem como de cultura, e de linguagem? Por outro lado, é possível falar-se de uma ética da IA? Como alcançar a necessária equidade algorítmica, justiça dos algoritmos de IA evitando-se decisões produzidas com viés discriminatório ou racista? Como superar a dificuldade de se obter a acessibilidade e a compreensibilidade de um sistema de algoritmo, devido a chamada caixa preta dos algoritmos de machine learning, o que seria fundamental para se falar no direito à explicação, no princípio da explicabilidade, na inteligência artificial explicável e no direito à revisão de tais decisões?

PALAVRAS-CHAVE: Inteligência artificial. Equidade algorítmica. Ética.

Artificial intelligence produces several changes in all social sectors, especially in Law, as well as occurs the virtualization of our self and the gestation of new subjectivities, in continuous mutation. In the face of such changes, what would be the appropriate concept of human being, as well as of culture and language? On the other hand, is it possible to speak of an AI ethic? How to achieve the necessary algorithmic equity, justice of AI algorithms avoiding decisions produced with discriminatory or racist bias? How to overcome the difficulty of obtaining the accessibility and comprehensibility of an algorithmic system, due to the so-called black box of machine learning algorithms, which would be fundamental to talk about the right to explanation, the principle of explainability, explainable AI and the right to review such decisions?

KEY WORDS: Artificial intelligence. Algorithmic fairness. Ethics.

1 Advogada e professora universitária. Mestre e doutora em Direito pela PUCSP. Doutora pela Università del Salento (Itália). Pós-doutora pela EGS/Suíça, pela Universidade de Coimbra, CES, pela Faculdade de Direito da USP, e pela PUCSP- TIDD. Pesquisadora colaboradora da UNICAMP, do IEA/USP, do Instituto Lawgorithmics. Visiting fellow – European University Institute /It. Visiting researcher – Scuola Normale Superiore de Pisa – Itália e da Universidade de Lisboa/Pt.

  1. Introdução

Com a utilização em larga escala e de forma progressiva da inteligência artificial, podemos dizer que chegamos na época da morte do homem, de que já falou M. Foucault, ou do fim da história, já que agora há uma nova linguagem e uma nova concepção do tempo e espaço, e uma nova cognição acerca do mundo? Estaríamos diante da superação definitiva da era do carbono, e com esta da extinção da forma humana e do início da era do silício, de onde virá uma nova forma, tal como preceituam Michel Foucault e Gilles Deleuze? Trata-se da era do “phylum maquínico”, termo forjado por Gilles Deleuze e Felix Guattari, mencionando o silício no agenciamento contemporâneo homem-natureza e afirmando que novas formas estão em vias de nascer (DELEUZE, 2000).

Precisamos de uma nova revolução antropocêntrica.

Vivemos na fase do capitalismo da vigilância e da sociedade de dados, com mais de 90% dos nossos dados disponíveis na internet, ocorrendo a ampla utilização da IA em todos os setores sociais, transformando conceitos, tais como de sociedade, soberania, cidadania e democracia, envolvendo novas produções de tempo e espaço, criando-se novas subjetividades, e novas formas de linguagem (ciberoralidade) e de cognição. Era do pós humanismo ou do transhumanismo, e da morte do humanismo, da morte do homem, e do surgimento do “Homo Deus” (HARARI, 2016), em especial devido aos desenvolvimentos da engenharia genética, da medicina regenerativa e da nanotecnologia, já se falando em morte da morte, ou seja, em uma possível imortalidade humana por volta de 2050. Harari em seu livro “Homo Deus” afirma (Ibidem, nota 43, p. 25/26): “(…). Na busca de saúde, felicidade e poder, os humanos modificarão primeiro uma de suas características, depois outra, e outra, até não serem mais humanos”.

A possibilidade de uma alternativa tecnológica ao homem, ou de uma simbiose “phylum maquínico” ao contrário do “super homem” nietzscheano, envolveria inclusive práticas de seleção biogenética, já que será possível que pessoas via manipulação genética, fertilização in vitro decidam todas as características saudáveis do seu futuro filho bem como todos os mínimos detalhes estéticos, de modo que teríamos um futuro de homens sem doenças, extremamente saudáveis e belos, chegando a uma perfeição humana, além da divina, em um perfeito “catálogo genético de crianças”. Contudo, com tais processos envolvem grandes investimentos de recursos financeiros, tal prerrogativa estará limitada ao poder econômico, enquanto que as doenças e eventuais deformidades restariam a cargo dos filhos de pessoas mais vulneráveis financeiramente, criando-se um maior fosso ainda de desigualdades sociais.

Jünger Habermas entende que a manipulação genética poderá alterar nossa autocompreensão enquanto seres da espécie, atingindo fundamentos normativos e incontornáveis da nossa integração social. As técnicas genéticas que visam à seleção e à alteração das características humanas poderiam inclusive abalar o modo como lidamos com nossa responsabilidade e nossa experiência moral. Ao decidir um programa de intervenção genética sobre um futuro filho, os pais modelarão o novo ser à sua vontade. Chegamos a era do

design humano, escolhendo as características físicas e genéticas dos nossos futuros filhos (HABERMAS, 2004).

Mas, quem vigia, controla e se responsabiliza por danos causados por meio de inteligência artificial, como por exemplo, aqueles causados pelos algoritmos no caso de respostas racistas, machistas, sexistas ou discriminatórias?

O pensamento voltado ao cálculo matemático seria o mais satisfatório quando estamos lidando com dignidade humana, direitos humanos e direitos fundamentais, situações que não são solucionadas com simples regras pré- fixadas, em uma análise voltada ao passado?

A polêmica acerca do viés discriminatório e racista foi objeto de discussão durante a Conferência “Computer Vision and Pattern Recognition”, em razão do entendimento da cientista da computação da equipe de inteligência artificial ética do Google, Timnit Gebru, afirmando existir preconceito de raça e de gênero nos sistemas de reconhecimento facial. Entende-se que o problema do viés vai além dos dados abrangendo o processo de treinamento dos algoritmos. É o que caso, por exemplo, dos algoritmos não levarem em consideração a totalidade dos fatores que deveriam ser observados, ou porque é impossível de representar de forma matemática alguns aspectos da existência humana. A cientista, contudo, foi demitida assim como outro membro da equipe, Margaret Mitchell.

Outra questão que vem sendo levantada é de uma possível lavagem ética, quando a regulação apenas visa princípios éticos, sem uma obrigatoriedade de cumprimento e sem possibilidade de sanções por parte do Estado, o que poderia desviar o foco da necessidade de uma abordagem complementar, conjugando- se autorregulação com heterorregulação, além da crítica da ineficácia dos princípios éticos e da não solução dos casos de colisão de princípios éticos.

Portanto, mais do que nunca é urgente a análise dos aspectos éticos, políticos e jurídicos da IA, já que seu uso está aumentando de forma exponencial, tornando-se mais diversificada, e “invisível”, ampliando o já conhecido problema das denominadas “caixas pretas” dos algoritmos de IA, já que esta possui as características da ubiquidade e da opacidade, não podendo ser verificada a tomada de decisão via “machine learning” muitas vezes nem por engenharia reversa. Com a internet das coisas e dos serviços, a IA mistura-se ao dia-a-dia de todas as pessoas, sendo um aspecto corriqueiro da vida quotidiana, o que é denominado de ubiquidade informacional, relacionada ao termo “ubicomp”, e “ubiquitous computing”.

A ética digital é essencial a fim de se identificar novas perspectivas, potencialidades e limites para a utilização de dados e da inteligência artificial, com foco no valor central da pessoa humana, desvinculando-se de uma visão patrimonial acerca dos dados pessoais e da utilização da inteligência artificial, sendo essencial a promoção dos valores humanos e a supervisão humana e controle humano de tal tecnologia.

A dimensão ética abrange as questões de ser a inteligência artificial uma inteligência-consciente, bem como estaríamos diante de um novo paradigma societário, já que estaríamos na era não mais de uma sociedade antropocêntrica, mas sim de uma sociedade “datacêntrica”, ou informacional. Deixamos para traz o antropocentrismo ou o sentido da perspectiva antropocêntrica (“humana centric”)? É possível uma ética da IA? Segundo a definição de Aristóteles o homem é um animal político, mas se distingue dos demais animais políticos pelo

“logos”, pela linguagem, com destaque para sua capacidade de realizar juízos éticos e morais.

A União Europeia recentemente promoveu a regulamentação de diretrizes éticas para nortear o desenvolvimento de tecnologias de inteligência artificial. Uma das diretrizes é a relevância da participação e do controle dos seres humanos, com objetos técnicos que promovam o papel e os direitos das pessoas, e não prejudiquem estes. Uma orientação complementar é a garantia de que os sistemas considerem a diversidade de segmentos e representações humanas, evitando discriminação. Contudo, como se pode falar em controle humano, supervisão humana, se em muitos casos da utilização da inteligência artificial, como no caso das redes neurais no “deep learning” são opacas, já que a complexidade da estrutura de seus algoritmos desafia o combate à opacidade dos algoritmos?

A Comissão Europeia em 04.2019 emitiu o documento Ethics Guidelines for Trustworthy Artificial Intelligence (“Ethics guidelines for trustworthy AI”), com vistas à uma Inteligência Artificial de confiança. Como sugestão há uma lista de avaliação de uma Inteligência Artificial de Confiança, com vários passos para verificação de adequação quanto aos propósitos éticos do sistema. Destacam- se: o respeito à privacidade e proteção de dados pessoais, transparência, supervisão humana, solidez técnica e segurança, diversidade, não discriminação e equidade; bem-estar social e ambiental; e “accountability”, além dos requisitos: controle humano, a não discriminação, e a promoção da formação e da educação.

Frank Pasquale aponta que os denominados sistemas de reputação, os novos perfis criados através de cruzamentos avançados de dados pessoais (PASQUALE, 2010, p.107-123) estão criando novas minorias, e em grande parte invisíveis, desfavorecidas devido a erro ou injustiça, pois em muitos casos tais perfis trazem um cunho discriminatório e limitador de possibilidades. Qualquer pessoa pode ser rotulada em um banco de dados como “não confiável”, “custo médico alto”, “renda em declínio”, dentre outras expressões depreciativas.

O denominado e conhecido “Troley problem” demonstra a existência de questões morais e éticas da mais alta importância envoltas com a impossibilidade de uma automatização absoluta da Justiça. O MIT Media Lab estudando tais temáticas desenvolveu a “Moral Machine”, plataforma para coletar dados relativos a decisões morais pelos seres humanos (moralmachine.mmit.edu). Um artigo publicado na Revista “Nature” traz alguns resultados de tal pesquisa, destacando-se a conclusão de que em países com alto grau de desigualdade econômica há uma tendência a tratar de forma bastante desigual as pessoas de acordo com seu status social.

Há também notícias do desenvolvimento de um “botão ético” a ser utilizado, de acordo com as preferências do proprietário dos automóveis autônomos (“ethical knob”), por meio do qual seria possível a personalização ética do seu automóvel, vinculando as seguintes alternativas: “altruísta total”, “egoísta total” ou “imparcial”, a depender da opção em seu valorizar sua própria via ou de terceiros; até o momento tem ocorrido a primazia da proteção pessoal.

  • Opacidade e entropia dos algoritmos

Os algoritmos produzem decisões a partir de aprendizado de máquina sobre certo conjunto de dados, podendo levar a casos do tipo “black box”, nos quais é impossível de explicar as decisões do sistema.

A noção fundamental da “caixa preta” é objeto de um dos principais livros de Vilém Flusser denominado “A filosofia da caixa preta. Ensaios Para Uma Futura Filosofia da Fotografia”, no sentido de um dispositivo que não se conhece em dado sistema, mas do qual se sabe quais os efeitos (“outputs”) decorrentes das ações que ele sofre (“inputs”). Aqui, contudo, na tomada de decisões via “machine learning”, se torna impossível a compreensão humana dos “outputs” e das camadas intermediárias e ocultas (“hidden layer”) entre o “output” e “input”.

Há, pois, dificuldades técnicas para a explicação dos algoritmos do tipo “machine learning”, denominados de algoritmos do tipo ‘caixa preta’, problemática potencialidade pelo fenômeno da ubiquidade informacional. Por isso se fala na necessidade de se desenvolver a IA explicável, “Explainable AI”, também conhecida pelo acrônimo XAI; relaciona-se com a confiança do usuário no sistema, e com os direitos à transparência, o direito à explicação e à revisão, ou seja, manter o ser humano no centro, na revisão e controle de tal tecnologia.

Diante de tais problemáticas como se falar em direito à explicação e em uma inteligência artificial explicável e no princípio da explicabilidade como expõe Luciano Floridi, conjugando-se a explicação com a responsabilidade? Por outro lado, não se trata de conceber a tais sistemas um status moral, mas de sujeitar os seres humanos, empresas e governos que lidam com tais sistemas o respeito e a observância de princípios éticos e jurídicos2. Os algoritmos de IA são imprevisíveis por natureza, por definição, pois não sabemos como os algoritmos de aprendizado de máquina aprendem, raciocinam da experiência à prática, já que não o fazem segundo os humanos. Para Flusser o futuro da humanidade é incerto no mundo robotizado, pois as máquinas mais eficientes e mais inteligentes que os humanos começam a adquirir a capacidade de prescindir destes. Os humanos funcionam em função dos aparelhos e perdemos o controle sobre estes (FLUSSER, 2008, p. 58 e ss.).

A IA estaria, pois, atingindo o ponto onde será impossível seu entendimento pelos humanos, de como funciona, como controlar e corrigir a fim de se evitar falhas catastróficas.

O “German Data Ethics Commission” da Alemanha criou um sistema de regulação de inteligência artificial baseada em cinco níveis de risco. No mesmo sentido Malta traz um sistema de certificação voluntário para inteligência artificial e a Dinamarca possui um programa de selo ético relacionado ao tratamento de dados pessoais. A União Europeia, por meio da Comissão Europeia, visando uniformizar a regulação na matéria, publicou o “White Paper, Artificial Intelligence

– a European approach to excellence and trust”. Para tecnologias que não sejam de alto risco, a Comissão propõe uma certificação voluntária (“voluntary

2 “Isso porque os parâmetros de correlações são formulados de maneira independente pelos sistemas a partir da interação com o ambiente dinâmico. E como foram formulados a partir de lógicas incomuns ao raciocínio humano, há grande dificuldade para se explicar de forma humanamente inteligível como esses sistemas chegaram a determinadas correlações ou resultados. E aqui, talvez, tenhamos que reconhecer que somos mesmo humanamente incapazes de fazê-lo e que, necessitamos de outras ferramentas”. Cf. GUTIERREZ, Andriei. É possível confiar em um sistema de Inteligência Artificial? Práticas em torno da melhoria da sua confiança, segurança e evidências de accountability. In: FRAZÃO, Ana; MULHOLLAND, Caitlin. Inteligência Artificial e Direito. São Paulo: RT, 2019 p. 90.

labelling”). Já as tecnologias de inteligência artificial com alto risco, tais como as tecnologias de reconhecimento facial, deverão observar algumas condições- chave, dentre elas, a robustez, a precisão e a supervisão humana.

Permanece ainda em aberto, contudo, a problemática da caixa preta, pois, há uma grande dificuldade na explicação de como tais sistemas que envolvem algoritmos de aprendizado de máquina tomaram determinadas decisões ou chegaram a determinados resultados, ou seja, são imprevisíveis, quase por definição, ainda mais diante da insuficiência de conhecimento técnico pela maior parte dos usuários. A opacidade dos algoritmos é agravada diante do raro questionamento dos resultados produzidos, pois não sabemos como os algoritmos de aprendizado de máquina aprendem, como raciocinam da experiência à prática, já que o fazem de forma diversa dos humanos.

Contudo como superar a problemática da opacidade e caixa preta dos algoritmos, se além da não acessibilidade também temos a não compreensibilidade? A primeira problemática é possível de ser superada, quando utilizarmos o procedimento de ponderação, pois na verdade não se poderia colocar o segredo de negócios/industrial, a proteção intelectual como direitos absolutos, como se tem afirmado, já que há uma colisão de direitos fundamentais, no caso entre um direito ao livre desenvolvimento da atividade econômica, a livre iniciativa e de outro a proteção de dados, a privacidade entre outros direitos fundamentais. Outro ponto também é que seria possível limitar o acesso ao segredo apenas às partes envolvidas, protegendo a publicidade por meio ou de sigilo processual, como já vem ocorrendo em outras searas, e/ou por meio de acordos de sigilo e confidencialidade. Contudo, mesmo que seja quebrada esta primeira barreira ainda teríamos o problema ainda insuperável da compreensibilidade da tomada de decisões por meio de aprendizado de máquina, quando há certa autonomia da IA na produção da decisão final. Mesmo o acesso ao código fonte somente permitirá expor o método de aprendizado de máquinas usado, não a regra da decisão.

Portanto o direito à explicação envolve duas problemáticas, ter acesso ao código fonte, superando a questão de se ver de forma absoluta o algoritmo protegido por segredo industrial, pois há maneiras de se superar tal divulgação, ficando restrita às partes envolvidas, sendo tal sigilo assegurado por contratos e termos de sigilo e confidencialidade, por exemplo, de modo a melhor equilibrar a balança entre os direitos fundamentais envolvidos, de um lado a proteção intelectual e o livre desenvolvimento da atividade econômica, e de outros os direitos fundamentais daqueles que sofrem os efeitos das decisões produzidas por IA. Contudo outra questão mais problemática ainda, e ainda sem solução, seria não a acessibilidade, mas a compreensibilidade. Isto é, no caso de machine learning, por exemplo, como se alcançar a compreensão de como operam tais códigos se eles tomam as decisões de forma automática, sem a interferência humana e são de certa forma imprevisíveis?

Como possível alternativa a tal problemática se tem apontado para a utilização de ferramentas que, embora não possam garantir a compreensão do processo decisório, poderiam pelo menos comprovar que não houve falha no procedimento adotado, apontando que houve decisões iguais em casos semelhantes, garantindo um certo nível de prestação de contas e de controle.

Há, no entanto, pesquisas em andamento acerca de mecanismos de extração de regras, com o fim de auxiliar na compreensão, extraindo

conhecimento de abordagens mais opacas e expressando-as de uma forma mais inteligível, como uma árvore de decisão. Há também maneiras de tentar descrever quais aspectos da entrada levaram a uma decisão específica (em vez de descrever o modelo como um todo), como destacar recursos de uma imagem que levaram a uma classificação específica (O´NEIL, 2016).

Conclusão: justiça algorítmica via revolução antropocêntrica

Diante das críticas acerca da opacidade e falta de transparência dos algoritmos de IA, e da denominada “caixa preta” dos algoritmos, debate iniciado com Frank Pasquale, afirma-se a necessidade do reconhecimento de novos direitos procedimentais, como o de explicação no caso de decisão automatizada, e de obter uma auditoria externa acerca de eventual potencial discriminatório, como no caso da prática de credit scoring, falando-se em direito à explicação e IA explicável.

Quanto à conjugação dos princípios éticos e jurídicos com práticas de autorregulação regulada, é imprescindível a adoção de mecanismos idôneos complementares para se garantir a imparcialidade, transparência e veracidade. Isto porque quando se fala em autorregulação neste setor, sempre caberá indagar se haverá uma possibilidade real de imparcialidade e busca do bem comum, de medidas que venham a beneficiar a sociedade como um todo, em contrapartida à busca normalmente desempenhada por pessoas jurídicas privadas no sentido de incremento do lucro e da minimização de custos, no lugar da proteção do interesse público, por exemplo. É fundamental, pois, que sejam adotados instrumentos de governança para estimular a adoção de certos níveis de transparência, ou de algoritmos abertos.

Deverá haver uma conjugação da heterorregulação, aplicando corretamente a ponderação para os casos de colisões de direitos fundamentais ao invés de se reputar a priori sempre a prevalência do segredo industrial/negocial ou direito de propriedade intelectual, como vem ocorrendo. Estamos diante de mais um dos denominados “hard cases”, casos de difícil solução, sendo imprescindível sua solução caso a caso, via ponderação, quando serão sopesados não o segredo industrial/negocial em si, mas o direito fundamental atrás destes, como o livre desenvolvimento da atividade econômica, a livre iniciativa, e de outro lado os direitos à privacidade, à autodeterminação informativa, à intimidade, entre outros. Não é possível se postular como uma prioridade absoluta a priori dos segredos de negócio/industrial ou da proteção dos direitos intelectuais, como vem ocorrendo. Precisamos de uma prática de sopesamento ou balanceamento, analisando-se diante do caso concreto via princípio da proporcionalidade, sempre tendo em consideração o aspecto central da dignidade humana, a qual em nenhuma hipótese poderá ser maculada, já que é o valor axial de todo Estado de Direito verdadeiramente democrático e de direito (cf. GUERRA FILHO, 2007, p. 77ss., CANTARINI; GUERRA FILHO, 2020,

p. 15ss.).

As empresas particulares devem observar na construção dos algoritmos certos padrões estabelecidos refletindo o interesse público, com transparência e responsabilização em níveis adequados, possibilitando um processo de revisão independente, para garantir a integridade e a conformidade com tais valores,

como se daria no setor, por exemplo, da indústria automobilística ao trazer padrões de qualidade e segurança para software utilizado nos automóveis. Outro ponto fundamental é a supervisão governamental por meio da regulação dos algoritmos.

É essencial a construção de um mapa conceitual de problemas éticos relacionados a algoritmos para se revisar o debate atual sobre a ética dos algoritmos e identificar quais problemas éticos os algoritmos levantam e quais soluções têm sido oferecidas na literatura relevante para abordar esses problemas, sendo essencial para se falar em justiça algorítmica, devendo ser sempre pautada tal análise na centralidade da pessoa humana, na dignidade humana e na possibilidade humana do controle de tal tecnologia.

Os argumentos geralmente apontados para a crítica dos princípios éticos não são suficientes para justificar a desistência de tal caminho, resumindo-se a afirmação de que há um grande gap entre teoria e prática, que não há uniformidade quanto a conceitos, mas sim pontos de contradição; não há ainda a elaboração de princípios orientados para aplicações específicas de IA, e há divergências quanto às consequências nocivas da IA.

Assim como se vem postulando na área de proteção de dados também na utilização da IA deverá haver uma análise de risco, falando-se em “risquificação”, seguindo os desenvolvimentos da área do direito regulatório, bem como envolvendo uma nova dimensão e ressignificação do conceito de risco, aproximando-se da concepção de segurança informacional (security). Em particular, os processos automatizados são considerados uma atividade de risco, e no caso, de alto risco (DONEDA, 2011, p. 92).

É uma nova forma de olhar para tal temática, uma mudança de paradigma neste setor, conjugando-se a proteção de direitos fundamentais aos fenômenos do surgimento de regulações ex ante, abrangendo licenças, análises de risco, processos de documentação e accountability, como forma de mitigação de danos neste setor.

É essencial a busca de uma justiça algorítmica, evitando-se termo algorithmic nuisance, ou inconveniente algorítmico, isto é, práticas discriminatórias.

Outras alternativas a serem destacadas são a introdução de ferramentas de governança na própria construção dos sistemas de decisão automatizada, de forma a dar efetividade ao direito de revisão, a utilização de testes extensivos, a fim de se catalogar uma lista de maus resultados e tentar excluí-los, a construção de data sets, visando uma espécie de controle ou regulação da utilização e resultado dos algoritmos. Há a necessidade de os desenvolvedores atuarem com um cuidado mais detalhado quanto à base de dados em busca de sinais de viés, além da necessidade de se treinar os algoritmos usando conjuntos maiores e mais diversificados de dados. Destacam-se os relatórios de impacto, auditorias de algoritmos independentes, códigos de boas condutas, certificações e programas de governança. Também se afirma a necessidade do reconhecimento de novos direitos procedimentais, como o de explicação no caso de decisão automatizada.

Fala-se da regulação pela arquitetura técnica em quaisquer operações de projeto de sistemas computacionais. Neste sentido o guia elaborado em 2017 pelo Ministério dos Transportes e de Infraestrutura Digital, Comissão Ética da

Alemanha, quanto à utilização de carros autônomos prevendo a regulação pelo design da programação dos veículos. São regras para softwares designers atingirem as aspirações legais.

Uma das propostas a ser destacada é a utilização da tecnologia para implementar a efetividade do Direito, de remédios tecnológicos voltados ao controle ou mitigação de riscos, como no caso de utilização para tal fim do design, contudo, deve-se ter ciência de que o controle pela tecnologia digital poderá ensejar a perda de regulamentação normativa ou outros fins normativamente indesejáveis. Trata-se de uma mudança de paradigma, envolvendo a adoção de uma arquitetura de gerenciamento dos riscos, precaucionaria de danos, no tratamento de dados e na utilização da IA.

REFERÊNCIAS

CANTARINI, Paola. Teoria fundamental do direito digital: uma análise filosófico-constitucional. São Paulo: Clube de autores, 2020.

                                    ; GUERRA FILHO, Willis Santiago. Teoria inclusiva dos direitos fundamentais e direito digital. São Paulo: Clube de autores, 2020.

O´NEIL, Cathyl. Weapons of math destruction: how big data increases inequality and threatens democracy. Nova York: Crown, 2016.

DELEUZE, Gilles. Post-scriptum sobre as sociedades de controle. In: Conversações: 1972-1990. Tradução: Peter Pál Pelbart. São Paulo: Editora 34, 1992, p. 223-231.

DONEDA, Danilo. A proteção de dados pessoais como um direito fundamental, Espaço Jurídico Journal of Law, Santa Catarina, v. 12, n. 2, jul-dez. 2011, p. 92.

FJELD, Jessica; NELE, Achten, HANNAH Hilligoss, HAGY, Adam, SRIKUMAR, Madhulika. Principled Artificial Intelligence: Mapping Consensus. In: Ethical and rights-based approaches to principles for AI. Cambridge, MA: Berkman Klein Center for Internet & Society, 2020. Disponível em: https://dash.harvard.edu/handle/1/42160420. Acesso em: 1 de mar. de 2021.

FLUSSER, Vilém Flusser. A filosofia da caixa preta. Ensaios Para Uma Futura Filosofia da Fotografia. Editora Annablume, 2011.

                      . O universo das imagens técnicas. Annablume, 2008.

GUERRA FILHO, Willis Santiago. Processo constitucional e direitos fundamentais. 5. ed. São Paulo: RCS, 2007.

HAN, Byung-Chul. Sociedade da transparência. Tradução: Enio Paulo Giachini. São Paulo: Editora Vozes, 2016.

HARARI, Yuval Noah. Homo Deus. Editora Companhia das Letras, 2016.

LYON, David. Cultura da vigilância: envolvimento, exposição e ética na modernidade digital. Tradução: Heloísa Cardoso Mourão et al. In:

BRUNO,    Fernanda   et    al.    (org.).    Tecnopolíticas    da    vigilância: perspectivas da margem. São Paulo: Boitempo, 2018, p. 151-180.

MALDONADO, Viviane Nóbrega; BLUM, Renato. LGPD: Lei Geral de Proteção de Dados comentada. São Paulo: Revista dos Tribunais, 2019.

MARANHÃO, Juliano; CAMPOS, Ricardo. Fake news e autorregulação regulada das redes sociais no Brasil: fundamentos constitucionais. In: ABBOUD, Georges; NERY Jr., Nelson; CAMPOS, Ricardo (org.). Fake news e regulação. 2. ed. São Paulo: Thomson Reuters Revista dos Tribunais, 2020, cap. 15.

OLIVEIRA, Lorena Silva. O conceito de governamentalidade em Michel Foucault. Revista Ítaca, Rio de Janeiro, v. 34, p. 48-72, 2019. Disponível em: https://revistas.ufrj.br/index.php/Itaca/article/view/26395. Acesso em: 20 de febr. de 2021.

PASQUALE, Frank. Reputation regulation: disclosure and the challenge of clandestinely commensurating computing. In: LEVMORE, Saul; NUSSBAUM, Martha C.; The offensive internet: speech, privacy, and reputation. Cambridge, MA, Harvard University Press, 2010, p.107-123)

PARISER, Eli. O filtro invisível: o que a internet está escondendo de você. Rio de Janeiro: Zahar, 2012.

SANTAELLA, Lucia. A pós-verdade é verdadeira ou falsa? São Paulo: Estação das Letras e Cores, 2018.

SIBILA, Paula. O show do eu: a intimidade como espetáculo. Rio de Janeiro: Contraponto Editora, 2020.

TZACHOR,     Asaf;     WHITTLESTONE,      Jess;     SUNDARAM,     Lalitha;     Ó

hÉIGEARTAIGH, Seán. Artificial intelligence in a crisis needs ethics with urgency. Nature Machine Intelligence, Berlin, v. 2, p. 365–366, 2020.

ZUBOFF, Shoshana. A era do capitalismo de vigilância. São Paulo: Editora Intrínseca, 2021.

WIMMER, Miriam Wimmer. Responsabilidade de agentes empresariais por ilícitos administrativos praticados por sistemas de IA, In. Inteligência artificial e direito. Ética, regulação e responsabilidade, São Paulo: RT. 2019, p. 388 e ss).

INTELIGÊNCIA ARTIFICIAL: DESAFIOS REGULATÓRIOS E RISQUIFICAÇÃO

Paola Cantarini

Advogada e professora universitária. Mestre e doutora em Direito pela PUCSP. Doutora pela Università del Salento (Itália). Doutora em Filosofia – PUCSP; Pós-doutora pela EGS/Suíça, pela Universidade de Coimbra, CES, pela Faculdade de Direito da USP, e pela PUCSP- TIDD. Pesquisadora colaboradora da UNICAMP, do IEA/USP, do Instituto Lawgorithmics, Instituto Avançado de IA, e do LGPD-LEGAL GROUNDS. Visiting fellow – European University Institute /It. Visiting researcher – Scuola Normale Superiore de Pisa – Itália e da Universidade de Lisboa/Pt. Pós-doutoranda New Technologies and Law -Progamma di Post-dottorato unirc.it.Università “Mediterranea” di Reggio Calabria o Centro di Ricerca XXX.

RESUMO

Diante do rápido desenvolvimento tecnológico da IA, atingindo todos os setores sociais, sendo tais tecnologias as que mais impactos revelam na revolução digital em andamento, com grandes recursos públicos e privados sendo investidos nesta área, até o momento há em termos gerais, uma ausência de regulamentações pela maior parte dos países, inclusive por parte dos países da UE, a não ser casos pontuais para certos setores de aplicação da IA, como algumas regulamentações esparsas sobre reconhecimento facial e carros autônomos. Diante de tal vácuo normativo, visando a suprir tal lacuna bem como evitar fragmentações e antinomias diante de iniciativas pontuais isoladas, a Comissão Europeia, braço executivo da União Europeia, apontou para a necessidade de uma regulamentação geral para todos os países da UE, de forma a promover o desenvolvimento da IA e ao mesmo tempo enfrentar os riscos potencialmente elevados para a segurança e os direitos fundamentais e humanos. Um dos principais objetivos a ser destacado, é a possibilidade da UE tornar-se economicamente competitiva em tal setor, disputando o mercado atualmente dominado pelos EUA e China principalmente, concorrendo de igual para igual

Deixe um comentário

O seu endereço de e-mail não será publicado.