Responsabilização civil na discriminação algorítmica racial na tomada de decisões automatizadas

Abstract

A utilização dos algoritmos na tomada de decisões nos mais diversos âmbitos ocupa lugar de destaque nos processos decisórios cotidianos. Vai desde os anúncios recebidos na navegação online, através dos algoritmos de recomendação que sugerem produtos e serviços aos indivíduos com base em seu histórico de navegação e compras anteriores, até a identificação de suspeitos de crimes pela tecnologia de reconhecimento facial das câmeras de segurança, por meio do processamento algorítmico das imagens captadas a partir da base de dados inserida. Inobstante os inegáveis benefícios existentes, os casos concretos a serem examinados demonstram que os algoritmos utilizados em tais processos podem reproduzir preconceitos e discriminações já existentes, como o racismo, em razão dos vieses que apresentam, ou da forma como foi utilizado. A justificativa do trabalho reside no fato de que a discriminação racial algorítmica observada em diversos processos decisórios reforça de perigosamente o sistema de privilégio social e racial, pois ocorre de forma mais velada do que a “tradicional”, em razão das características dos algoritmos e a forma que são conduzidos tais processos. Assim, o elevado potencial de ocasionar danos e a abrangência da utilização algorítmica na tomada de decisões demanda a atribuição de um responsável pela perpetuação desse preconceito e, consequentemente, pela reparação dos prejuízos. Nesse contexto, o problema de pesquisa é: como se dá a responsabilidade civil da discriminação algorítmica racial decorrente da tomada de decisões automatizadas? O objetivo principal do trabalho, por sua vez, consiste em analisar a responsabilidade civil à luz da legislação brasileira aplicada na discriminação algorítmica racial decorrente da tomada de decisões automatizadas. Os objetivos específicos residem em: 1) compreender a tomada de decisões automatizadas e a influência da discriminação algorítmica nestas; 2) compreender a discriminação algorítmica racial e 3) analisar a existência de dispositivos no ordenamento jurídico brasileiro acerca da responsabilização civil decorrente da discriminação algorítmica, sobretudo racial. Para atingir esses objetivos e responder o problema apresentado, é utilizada a metodologia dedutiva, com caráter descritivo-exploratório, analisando casos concretos e categorizando-os de acordo com os tipos de discriminação existentes, a fim de entender suas causas. Como resultados, a pesquisa demonstra que não existem "algoritmos racistas", mas sim algoritmos que perpetuam preconceitos, inclusive racistas, devido aos vieses inseridos por humanos. E, apesar da importância do tema, atualmente não há regulamento específico sobre a responsabilização civil por danos causados pela IA no Brasil. Talvez por essa razão, ainda existem discussões sobre qual regime de responsabilização civil aplicar – objetivo ou subjetivo – a depender do caso concreto, bem como o diploma específico a ser utilizado, o que pode dificultar a reparação de danos das vítimas. Portanto, é necessário que o ordenamento jurídico brasileiro crie um dispositivo específico para regular a IA, especialmente quanto à responsabilização civil, como proposto no Projeto de Lei da Câmara nº 2338 de 2023, devendo ser avaliada posteriormente a necessidade de estabelecer um dispositivo específico para a discriminação algorítmica racial.

The use of algorithms in decision making in a wide variety of areas is prominent in everyday decision-making processes. It ranges from the advertisements received when browsing online, through recommendation algorithms that suggest products and services to individuals based on their browsing history and previous purchases, to the identification of criminal suspects by the facial recognition technology of security cameras, through the algorithmic processing of the images captured from the inserted database. Despite the undeniable benefits, the concrete cases to be examined show that the algorithms used in such processes can reproduce existing prejudices and discrimination, such as racism, due to the biases they present or the way they have been used. The justification for the work lies in the fact that the algorithmic racial discrimination observed in vatrious decision-making processes dangerously reinforces the system of social and racial privilege, as it occurs in a more veiled way than “traditional”, due to the characteristics of the algorithms and the way in which these processes are conducted. Thus, the high potential for causing damage and the scope of the use of algorithms in decision making demand that someone be held responsible for perpetuating this prejudice and, consequently, for repairing the damage. In this context, the research problem is: how does civil liability arise from racial algorithmic discrimination resulting from automated decision making? The main objective of the work, in turn, is to analyze civil liability in the light of Brazilian legislation applied to racial algorithmic discrimination resulting from automated decision-making. The specific objectives are: 1) to understand automated decision-making and the influence of algorithmic discrimination on it; 2) to understand racial algorithmic discrimination and 3) to analyze the existence of provisions in the Brazilian legal system on civil liability arising from algorithmic discrimination, especially racial discrimination. To achieve these objectives and answer the problem presented, a deductive methodology is used, with a descriptive-exploratory character, analyzing concrete cases and categorizing them according to the types of discrimination that exist, in order to understand their causes. As a result, the research shows that there are no “racist algorithms”, but rather algorithms that perpetuate prejudices, including racist ones, due to the biases inserted by humans. And despite the importance of the topic, there is currently no specific regulation on civil liability for damage caused by AI in Brazil. Perhaps for this reason, there are still discussions about which system of civil liability to apply - objective or subjective - depending on the specific case, as well as the specific statute to be used, which can make it difficult for victims to recover damages. Therefore, it is necessary for the Brazilian legal system to create a specific provision to regulate AI, especially with regard to civil liability, as proposed in House Bill 2338 of 2023, and the need to establish a specific provision for racial algorithmic discrimination should be evaluated at a later date.