Relatório de Debates



Coordenação-discente: Rafael Gonzaga Muller

Data: 21/08/2021

Referência(s)



CASTRO, Bruno Fediuk de; BOMFIM, Gilberto. A Inteligência Artificial, o Direito e os vieses. Revista Ilustração, v. 1, n. 3, p. 31–45, 5 jan. 2021. DOI 10.46550/ilustracao.v1i3.23. Disponível em: http://journal.editorailustracao.web36f03.kinghost.net/index.php/ilustracao/article/view/23. Acesso em: 24 jun. 2021.

CORRÊA, Nicholas Kluge; OLIVEIRA, Nythamar de. Modelos Dinâmicos Aplicados à Aprendizagem de Valores em Inteligência Artificial. Veritas (Porto Alegre), v. 65, n. 2, p. e37439, 27 jul. 2020. DOI 10.15448/1984-6746.2020.2.37439. Disponível em: https://revistaseletronicas.pucrs.br/index.php/veritas/article/view/37439. Acesso em: 24 jun. 2021.

MOYANO, Graziella Laín. Responsabilidad en inteligencia artificial: Señoría, mi cliente robot se declara inocente. AIS: Ars Iuris Salmanticensis, v. 9, n. 1, p. 197–232, 30 jun. 2021. DOI 10.14201/AIS202191197232. Disponível em: https://revistas.usal.es/index.php/ais/article/view/AIS202191197232. Acesso em: 24 jun. 2021.

TAO, Hernando Barrios; PÉREZ, Vianney Díaz; GUERRA, Yolanda. Subjetividades e inteligencia artificial: desafíos para lo humano. Veritas, n. 47, p. 81–107, dez. 2020. DOI 10.4067/S0718-92732020000300081. Disponível em: http://www.scielo.cl/scielo.php?script=sci_arttext&pid=S0718-92732020000300081&lng=en&nrm=iso&tlng=en. Acesso em: 24 jun. 2021.


Pontos destacados do(s) texto(s) (paráfrases e citações)



CASTRO, Bruno Fediuk de; BOMFIM, Gilberto. A Inteligência Artificial, o Direito e os vieses. Revista Ilustração, v. 1, n. 3, p. 31–45, 5 jan. 2021. DOI 10.46550/ilustracao.v1i3.23. Disponível em:

http://journal.editorailustracao.web36f03.kinghost.net/index.php/ilustracao/article/view/23

. Acesso em: 24 jun. 2021.



"No Brasil, a Advocacia Geral da União (AGU) começou a desenvolver o primeiro sistema de inteligência artificial aplicável à área jurídica, denominado Sapiens, seguido do Judiciário, que vem criando o sistema denominado “Victor”, de iniciativa do Supremo Tribunal Federal e o “Sócrates”, do Superior Tribunal de Justiça, que irão aumentar a velocidade de tramitação dos processos por meio da utilização da tecnologia para auxiliar o trabalho dos advogados públicos e dos tribunais." (p.33)

"O objetivo do artigo é demonstrar algumas dificuldades que precisam ser enfrentadas pelos operadores do Direito e programadores para eliminar os vieses não intencionais dos algoritmos." (p.33)

“A ideia da quarta revolução industrial surge em um evento sobre automação industrial, realizado na Feira de Hannover, na Alemanha, ocorrido em 2011. Ela é baseada na enorme quantidade de informações digitalizadas e nos avanços no campo da inteligência artificial.” (p.34)

"Com a evolução tecnológica, a IA atingiu um novo patamar evolutivo. O machine learning (aprendizado da máquina) surge como um método de análise de dados que automatiza a construção de modelos analíticos. É um ramo da inteligência artificial baseado na ideia de que sistemas podem aprender com dados, identificar padrões e tomar decisões com o mínimo de intervenção humana (CASTRO, BOMFIM, TEIDER, 2020, passim)." (p.35)

"Atualmente, a inteligência artificial vem evoluindo para o chamado deep learning, ou Computação Cognitiva. Nesta nova etapa, camadas de dados tentam imitar a conectividade de nossa rede neural biológica. Estas camadas de conexão são capazes, não apenas de aprender a como realizar uma tarefa, mas de avaliar baseando-se em grandes quantidades de dados - se uma informação (dado, imagem, etc.) tem probabilidade em ser verdadeira ou não (CHIOVATTO, 2019, p. 3). | Uma diferença fundamental do deep learning é que a pesquisa nesta área tenta fazer representações melhores e criar modelos para aprender a partir de dados não rotulados em grande escala." (p.35)

“Heurísticas são “atalhos mentais para tomadas de decisões, que permitem ao ser humano ser capaz de tomar decisões e não se distrair tentando absorver todas as informações disponíveis ao seu alcance. Quando as heurísticas falham, surgem os vieses cognitivos”.” (p.36)

“O viés da confirmação pode ser descrito como tendência de se lembrar, interpretar ou pesquisar informações de maneira a confirmar crenças ou hipóteses iniciais. Ou seja, temos uma tendência natural de buscar informações que reforcem o que imaginamos ser verdade. Como os filtros online nos mostram informações relacionadas ao nosso “passado”, ideias antigas tendem a ser reforçadas pelas buscas, pois resultados conflitantes são evitados pelo algoritmo que organiza essa informação. | O falso consenso pode ser explicado como a ilusão de que uma maioria concorda com um ponto de vista sobre determinado assunto, quando na verdade esse consenso não existe. As redes sociais, com seus algoritmos, tendem a afastar as pessoas que não dão os mesmos likes que você e isso pode aumentar o efeito do falso consenso, pois ao olhar na sua timeline (linha do tempo) a sua impressão será reforçada pelo viés da confirmação. | O último efeito com potencial para ser ainda mais danoso é a polarização de grupos, que acontece quando convivemos com grupos que compartilham a mesma visão em determinados temas. Deste modo, a Internet cria bolhas isoladas entre “aqueles que concordam com A” e “aqueles que concordam com B” e os dois grupos possuem poucas conexões entre si (LAGO, 2016, p. 2).” (p.37)

“A mineração de dados é um procedimento que está intimamente relacionado à análise estatística e, assim, está sujeita à análise de dados que foram ali inseridos ou captados de uma outra origem, o que tem potencial de gerar alguma forma de discriminação. Para Carolina Braga (2019, p. 681), a finalidade da big data é prover uma base racional em cima da qual será possível atribuir a determinado indivíduo, ou grupo de indivíduos, características específicas, possibilitando tomadas de decisões personalizadas.” (p.37)

"Para Juarez (2013, p. 230-231), tomar ciência dos vieses é condição necessária para aprimorar a performance interpretativa, ao contrário de fingir deferência à autonomia do objeto e insistir em negar os condicionamentos. O autor destaca que caso o intérprete jurídico não esteja vigilante, ou acredite piamente em uma fantasiosa determinação do mundo pré-dado, ele acabará sendo manipulado por impulsos cegos e pré-compreensões sem freios, fazendo com que este venha a tomar decisões sob influências que não contemplam o lado racional." (p.38)

"(i) o Victor no STF, que se utiliza do mecanismo de aprendizado de máquina (machine learning) para realizar atividades de conversão de imagens em textos no processo digital; separação de documentos, classificação das peças processuais e identificação dos temas de repercussão geral de maior incidência e (ii) o Sócrates no STJ, ainda em fase de testes, que pretende realizar o exame automatizado do recurso e do acórdão recorrido, disponibilizando informações relevantes" (p.39)

"Ele usa um algoritmo para avaliar o risco potencial de reincidência do infrator, possuindo escalas de risco para reincidência geral e violenta e por má conduta pré-julgamento. Os resultados obtidos pelo COMPAS são entregues aos juízes durante sentenças criminais com objetivo de auxiliá-los na tomada de decisão. A intenção em utilizar sistemas como o COMPAS é tornar as decisões judiciais menos subjetivas - menos influenciáveis por erros humanos, voluntários ou não. Afinal, seriam esses algoritmos capazes de tornar as sentenças mais justas? Estariam eles livres de preconceitos e vieses? | Um estudo desenvolvido pela ProPublica (ANGWIN; LARSON; MATTU; KIRCHNER, 2016, s. p.) apontou que o COMPAS prevê que os réus afrodescendentes terão riscos mais altos de reincidência do que realmente têm, enquanto os réus tidos como brancos são classificados para ter taxas mais baixas do que realmente fazem (a Equivant contesta esta análise)." (p.40)

“Sistemas que empregam aprendizado de máquina, por envolverem modelos matemáticos com parâmetros abertos, possuem uma dimensão de opacidade. A escala de dados (big data) e os modelos empregados muitas vezes tornam difícil a explicação do resultado de uma forma compreensível para o homem, com premissas, critérios acessíveis, argumentos e conclusões. Além disso, os programas podem sofrer vieses (discriminação) e falhas, advindas do design do algoritmo, da forma de treinamento do programa, da base de dados ou da execução da programação (CASTRO, BOMFIM, TEIDER, 2020, passim).” (p.40)

"Um dos caminhos que vem sendo apresentado é que a equipe de desenvolvimento dos algoritmos tenha uma grande diversidade e conte com supervisão constante. Também é indicado criar um órgão de supervisão e conformidade, permitindo que os sistemas sejam capacitados com base em uma autoridade moral." (p.42)

***

CORRÊA, Nicholas Kluge; OLIVEIRA, Nythamar de. Modelos Dinâmicos Aplicados à Aprendizagem de Valores em Inteligência Artificial. Veritas (Porto Alegre), v. 65, n. 2, p. e37439, 27 jul. 2020. DOI 10.15448/1984-6746.2020.2.37439. Disponível em:

https://revistaseletronicas.pucrs.br/index.php/veritas/article/view/37439

. Acesso em: 24 jun. 2021.



"Nota-se, em última análise, que existe um consenso na literatura: é extremamente importante que o desenvolvimento de IA seja feito de maneira segura, benéfica e robusta. [...] Erros de especificação ocorrem quando a função de utilidade da IA é mal especificada pelos programadores, causando resultados indesejados e até mesmo prejudiciais, mesmo que o aprendizado seja perfeito com dados explicitamente claros (AMODEI et al., 2016). Alguns exemplos de erros de especificação são efeitos colaterais negativos, hackeamento de recompensa e interrupção segura (corrigibilidade)." (p.3)

"Sem uma engenharia cuidadosa desses sistemas, riscos com uma “explosão de inteligência” (o aumento exponencial da capacidade cognitiva do agente) podem criar agentes muito mais poderosos que a nossa capacidade de os controlar. Por outro lado, e correlata à primeira tese, a “Tese da Ortogonalidade” propõe que a inteligência e os objetivos finais possuem propriedades independentes e ortogonais. A hipótese é argumentada da seguinte forma: Inteligência e objetivos finais são eixos ortogonais ao longo dos quais possíveis agentes podem variar livremente. Em outras palavras, mais ou menos qualquer nível de inteligência poderia, em princípio, ser combinado com mais ou menos qualquer objetivo final (BOSTROM, 2012, p. 3)." (p.4)

"Pronunciamentos éticos e prescrições para o que se deve fazer não podem ser alcançados através da análise factual, havendo assim uma certa independência entre a razão e a moralidade, análogo à tese da ortogonalidade contrapondo inteligência e valores. Dessa forma, mesmo tendo uma função de utilidade “perfeita” implantada em um agente superinteligente, não podemos prever seus meios de atuação (objetivos instrumentais) e muito menos esperar que tal IA possua valores alinhados com os nossos. Agentes extremamente inteligentes podem ter diversos tipos de objetivos terminais acompanhados com uma grande gama de objetivos instrumentais, portanto, não devemos ceder à tentação de antropomorfizar uma IA (BOSTROM, 2012)." (p.5)

"Assim, teorias de cognição em IA (simbolismo, conexionismo e dinamismo) podem ser consideradas estruturas teóricas, pois nos fornecem os filtros, analogias e metáforas pelas quais tentamos compreender o fenômeno de cognição, e assim criarmos modelos teóricos que possam gerar simulações a serem testadas (BEER, 1998). [...] Neste artigo, não adotamos uma posição antirrepresentacionalista, na medida em que nós humanos utilizamos e manipulamos representações constantemente, como na linguagem, escrita, fala, música e outras formas de pensamento abstrato. Contudo, nos posicionamos ceticamente em relação à função de representações em sistemas que envolvam valores-objetivos-metas, e, portanto, comportamento guiado por metas. Talvez, em alguns casos, os papéis desempenhados pelos estados internos de um agente cognitivo simplesmente não podem ser interpretados como representacionais (FRANKISH; RAMSEY, 2014)." (p.6)

"Contudo, esse sistema de perceber-planejar-agir, ignora fenômenos importantes na tomada de decisão, como ações reflexas, e a velocidade com qual tais ações são expressadas em agentes cognitivos reais, mostrando, mais uma vez, que o método simbólico computacional não tem embasamento com a realidade biológica e física do fenômeno de cognição. | Herbert Dreyfus (1992) foi um dos mais proeminentes críticos da abordagem representacional simbólica no campo de pesquisa em IA. Com base na filosofia hermenêutico-existencialista proposta por Martin Heidegger, Dreyfus indicou em seus trabalhos que a manipulação de símbolos e de representações não são suficientes para gerar o tipo de existência não representacional de um ser-no-mundo (Dasein)." (p.7)

"Por esse motivo espera-se que agentes inteligentes artificiais possuam uma propriedade chamada de corrigibilidade (corrigibility). É necessário que tais sistemas possam ter sua função de recompensa ou hierarquia de valores ajustada, caso algo indesejado ocorra. Contudo, também é necessário que os mesmos agentes não possam influenciar seu próprio quadro de aprendizado ou função de recompensa, muito menos impeçam que esta seja modificada. Atualmente não existem soluções para esse problema (SOARES; FALLENSTEIN, 2015). [...] O conceito de função de utilidade é uma formalização matemática para a noção de valores humanos, sendo amplamente utilizado em economia e teoria da decisão. Contudo, um dos problemas mais conhecidos desse modelo é o fato empírico que humanos violam os axiomas da teoria da utilidade, não tendo funções de utilidade consistentes (TVERSKY; KAHNEMAN, 1981)." (p.8)

"Ademais, situações onde humanos fazem parte do sistema de recompensa de uma IA, também chamados de human-in-the-loop, não são considerados seguros, pois existe forte evidência para se crer que agentes inteligentes artificiais seriam inclinados a manipular a parte humana de seu mecanismo de recompensa, se isso significasse uma aumento de recompensa (HIBBARD, 2012; BOSTROM, 2014). [...] O objetivo final destes agentes é maximizar a recompensa, sendo nossos valores e metas apenas instrumentais para seu objetivo terminal." (p.9)

"O modelo teórico que apresentamos nesse artigo é o SED (Situated Embodied Dynamics), proposto por Beer (2000), que enfatiza como a experiência cognitiva surge da interação dinâmica cérebro-corpo-ambiente. Em primeiro lugar, SED leva em conta a situação como sendo fundamental para a cognição, colocando a ação concreta, ou seja, literalmente, o agir no mundo, como algo mais fundamental do que a as descrições abstratas dessa ação." (p.9)

"Em segundo lugar, na abordagem SED, a corporificação diz que a forma física e seus aspectos funcionais e biomecânicos são aspectos essenciais para o comportamento, como também sua biologia e fisiologia, no caso de agentes artificias, mecânica, hardware e software. Todos esses fatores criam a realização conceitual pela qual criamos nossas experiências e representações (FRANKISH; RAMSEY, 2014). [...] Assim, fica patente o papel da linguagem, das metáforas e das representações mentais na própria formulação de conceitos utilizados em teorias científicas, a despeito de todo comprometimento ontológico com um certo realismo científico." (p.10)

"Devemos lembrar também que simbolismo, conexionismo e dinamismo são estruturas teóricas, não teorias científicas do mundo natural, ou seja, não podem ser provadas ou refutadas. Enquanto o simbolismo enfatiza a manipulação de representações internas, o conexionismo ressalta a arquitetura da rede e o protocolo de treinamento. Já a estrutura SED destaca o espaço de trajetória e as influências determinantes ao sistema cérebro-corpo-ambiente. É possível que uma abordagem dinâmica para o problema de aprendizagem de valores nos ajude a elucidar alguns dos problemas em aprendizagem de valores." (p.12)

***

MOYANO, Graziella Laín. Responsabilidad en inteligencia artificial: Señoría, mi cliente robot se declara inocente. AIS: Ars Iuris Salmanticensis, v. 9, n. 1, p. 197–232, 30 jun. 2021. DOI 10.14201/AIS202191197232. Disponível em:

https://revistas.usal.es/index.php/ais/article/view/AIS202191197232

. Acesso em: 24 jun. 2021.



"La ia es un concepto que abarca muchas otras áreas, como la informática cognitiva (algoritmos capaces de razonamiento y comprensión de nivel superior humano), el aprendizaje automático o machine learning (algoritmos capaces de enseñarse a sí mismos tareas), el aprendizaje profundo o deep learnig (profundo porque el aprendizaje se realiza a través de una red neuronal «artificial» que tiene varias capas de profundidad), la inteligencia aumentada o augmented intelligence (colaboración entre humanos y máquinas) o la robótica con ia (inteligencia artificial integrada en robots). El fin principal de la investigación y el desarrollo en materia de inteligencia artificial es emular las facultades intelectuales humanas con sistemas artificiales, facultades que se corresponden con los procesos de percepción sensorial (como razonar, aprender, comunicar, manipular e incluso crear) y posterior reconocimiento de patrones." (p.200)

"Absolutamente todos los avances logrados hasta ahora en el campo de la ia son manifestaciones de ia débil y específica" (p.201)

"La persona física se define como individuo humano que es susceptible de adquirir derechos y contraer obligaciones, extrapolándose este concepto sobre la capacidad jurídica general en el sentido de llevar a cabo actos con plena eficacia jurídica. «La personalidad se adquiere en el momento del nacimiento con vida, una vez producido el entero desprendimiento del seno materno» (art. 30 Código Civil español). Estos dos componentes biológicos es imposible que se den en un robot, por lo que, por muy avanzada que pueda llegar a ser la ia y por mucho que pueda emular la inteligencia humana, no puede darse, ya que conlleva un elemento biológico fundamental: nacer. Por lo que equiparar a los robots inteligentes con la persona física y, por tanto, equipararlos en derechos y obligaciones es absolutamente inviable para introducirse en el ordenamiento jurídico." (p.202)

"Como características comunes, podríamos exponer que ambas son distintas de su propietario, por lo que son susceptibles de apropiación; su capacidad es independiente a la de su propietario; ambas pueden causar daños, será la responsabilidad penal de las personas jurídicas para determinados delitos que expresamente se determine. También, respecto a una futura regulación de los robots con ia equiparable a la persona jurídica, existiría otra similitud con la posibilidad de adquirir capacidad de obrar, es decir, para el ejercicio de los derechos y obligaciones que les sean atribuidos." (p.203)

"Si bien es cierto que, como consecuencia de la evolución y revolución tecnológica, hay que plantearse con carácter absolutamente necesario, y más que urgente, la nueva realidad jurídica, también lo es afirmar con decisión y paso firme que el robot no es un ser humano en ningún caso, ni biológica ni socialmente, y mucho menos una «cuasi» persona que siente y piensa, pues no tiene vida." (p.204)

"En nuestro Código Civil español, distinguimos tres elementos protagonistas: personas, cosas y acciones, haciendo claras diferenciaciones entre ellas. [...] En definitiva, los robots son cosas, por muy singulares y cautivadores que resulten, pero no pueden ser, en modo alguno, personas o sujetos de derechos." (p.205)

"Las normas vigentes en materia de responsabilidad de los robots aluden, en la mayoría de los casos, a un agente humano concreto para imputar la acción u omisión del robot, ya sea el fabricante, el operador, el propietario o el usuario y en los que dicho agente podía haber anticipado, previsto y evitado el comportamiento del robot que ocasionó los daños." (p.206)

"No parece realizable que el vigente ámbito legal respecto a la responsabilidad civil pueda aplicarse a los robots, en razón de que no pueden ser considerados responsables de sus actos u omisiones, independientemente de la autonomía de la que dispongan. Dirigiéndonos, avante toda, siempre a la responsabilidad de las personas físicas que intervienen en la fabricación o programación de los robots inteligentes, sin que exista explícitamente un régimen jurídico de atribución de responsabilidades a estas. Atribuir la responsabilidad a los mencionados agentes es una solución adecuada cuando irrebatiblemente contribuye a la supervisión y colaboración de las personas en el comportamiento del robot." (p.207)

"Sin embargo, para que la responsabilidad penal dé lugar, se necesitan una conducta típica y antijurídica y un sujeto imputable y culpable. Estos dos últimos requisitos son los que entrañan un notable óbice para la contemplación de los robots como responsables por la comisión de un delito." (p.208)

"Según la dogmática penal clásica, la cuestión a si la responsabilidad que se genera tras el daño producido por ia es civil o penal, esta tiene una única respuesta: solo pueden cometer delitos las personas físicas." (p.209)

"En este momento se respalda y apoya la idea de simplificar en dos categorías6 las personas llamadas a responder: fabricante o productor, entendiendo a este no como un único individuo, ya que, en todo referente a la ia, son numerosas las personas que crean el sistema siendo en muchas ocasiones un gran o varios equipos de personas. Pues los sistemas de ia poseen entre ellos de una inmensa interrelación y conexión entre operadores, explicados de forma muy sencilla se agrupan en: — Back-end: es la persona que opera con el sistema, pero no lo utiliza. Actualiza el software, introduce mejoras, revisa y supervisa. | — Front-end: es la persona que opera con el sistema y lo utiliza, es decir, el propietario, el usuario o el poseedor del sistema de ia." (p.209)

"Pero sin dejar nunca el optimismo a un lado, también debemos ser realistas en todo momento y tener en cuenta que, a la hora de la verdad, la caja negra es algo que funciona muy poco y, por ende, lo de supervisar el sistema se transforma en algo muy enrevesado y complejo, dado que estamos ante sistemas muy muy opacos que, sumado a la interconexión que tienen entre sí, no nos aportan apenas datos." (p.210)

"En primer lugar, se entenderá por producto defectuoso aquel que no ofrezca la seguridad que cabría legítimamente esperar, teniendo en cuenta todas las circunstancias y, especialmente, su presentación, el uso razonablemente previsible del mismo y el momento de su puesta en circulación" (p.211)

"El perjudicado podrá, entonces, solicitar al productor la reparación de los daños causados siempre y cuando pueda probar el defecto, el daño y la relación de causalidad entre ambos. Por último, el robot sería defectuoso debido a la inadecuación o inexistencia de instrucciones o advertencias conforme al estado de la ciencia y la técnica (sts, 1a, 3 de diciembre de 1997). El propietario o el usuario podría haber actuado con negligencia o dolo variando o añadiendo instrucciones inadecuadas al robot, en este caso sería el responsable del daño." (p.212)

"Los riesgos de desarrollo son los causados por un defecto de un producto que no era reconocible a la luz del estado de los conocimientos científicos y técnicos existentes en el momento de la comercialización del producto de que se trate. Cuando se produce un daño derivado de riesgos de desarrollo, algunos ordenamientos jurídicos imputan la responsabilidad correspondiente al fabricante del producto en cuestión, pero otros le conceden una excepción que le permite exonerarse de tal responsabilidad." (p.212)

"Hay que reconocer que todos los sujetos pueden responder también por culpa, dado que, por ejemplo, el fabricante puede responder de no haber informado o supervisado el proceso de fabricación adecuadamente, los operadores de no haber elegido el sistema idóneo o realizado diligentemente el mantenimiento, y así, se podrían poner numerosos ejemplos de distinta índole. Lo que no se indica es cuándo se responde de forma objetiva y de forma subjetiva10. Ni tampoco en qué casos se parte de uno u otro." (p.213)

"En razón de lo cual, si pudo prevenirse que la ia fuese capaz de aprender acciones que le dirigieran a cometer actos contrarios a la ley, de confirmarse así, su programador sería el responsable. A este respecto debe señalarse que cualquier «máquina», hardware o software al que pueda atribuirse esta denominación, a día de hoy, está sujeto a la responsabilidad de su fabricante y, en consecuencia, cualquier daño sufrido por o con ocasión de un robot se dirimirá por las reglas generales del Código Civil," (p.214)

"A nivel patrimonial tampoco es factible, pues si un robot causa daños, el robot no responde porque no es persona; responderá su dueño, que es la persona que tiene patrimonio. Pero si el robot fuera persona y él respondiera tendría que responder con su patrimonio. Por tanto, las relaciones jurídicas son relaciones entre seres humanos y solo entre seres humanos." (p.216)

"Es del todo imprescindible un debate de todos los ciudadanos sobre este tema, porque la ausencia de debate, como ocurre siempre, se nutre por parte del que tiene el mayor interés económico, pues todos los avances se llevan a cabo por multinacionales privadas que protegen sus innovaciones con el derecho de patentes y la falta de regulación existente en casi la totalidad del mundo." (p.217)

"En la actualidad es totalmente inviable el considerar responsable penal a un robot o una ia, pues su desarrollo no es suficiente. Pero a medida que aumenta su autonomía y capacidad de decisión no podemos atribuir a un humano o grupo de personas concretas la responsabilidad por los daños causados por una máquina con ia que puede actuar por su cuenta, sean los daños del tipo que sean." (p.222)

***

TAO, Hernando Barrios; PÉREZ, Vianney Díaz; GUERRA, Yolanda. Subjetividades e inteligencia artificial: desafíos para lo humano. Veritas, n. 47, p. 81–107, dez. 2020. DOI 10.4067/S0718-92732020000300081. Disponível em:

http://www.scielo.cl/scielo.php?script=sci_arttext&pid=S0718-92732020000300081&lng=en&nrm=iso&tlng=en

. Acesso em: 24 jun. 2021.



“La polisemia de la expresión IA se vincula con la dinámica en desarrollos, relacionados con big data, algoritmos y robots. [...] define como una “actividad dedicada a crear máquinas inteligentes” con la acepción de inteligencia como la “cualidad que permite a una entidad funcionar de manera apropiada y con previsión en su entorno” [...] “sistemas computacionales que han sido diseñados para interactuar con el mundo que le rodea a través de capacidades (percepción visual, reconocimiento de voz) y comportamientos inteligentes (procesamiento y selección de información disponible, toma de decisiones para alcanzar determinado objetivo), que podríamos pensar son esencialmente humanas”" (p.84)

" los propietarios de las computadoras más potentes en la red almacenan la información, capitalizan los datos y su valor genera más concentración de riqueza y poder (Zafra, 2018) [...] con las IAs “amplifican y exacerban los patrones históricos de desigualdad y discriminación” (Crawford et al., 2019: 24). La propiedad y utilidad de los datos personales por parte de agencias implican “problemas de discriminación social y justicia” (Lupton, 2016b: 116)." [...] la selección de características de los datos utilizados para crearlos y configurar los modelos requeridos, reflejan muchas veces prejuicios de los programadores y un control intencional de estos profesionales" (p.88)

"La concentración del poder en un reducido número de personas que configuran y controlan datos en dispositivos en la nube se agrava cuando estos ejercicios se impulsan por modelos de negocios rentables y los algoritmos se propagan con un único fin de lucro (Lanier, 2018)." (p.90)

"En términos amplios, se alerta sobre el posible uso de la IA para influir y limitar la libertad de las personas y así “el verdadero desafío ya no es la innovación digital, sino la gobernanza de lo digital” (Floridi, 2018: 2)." (p.91)

"En este ámbito de gobernanza, el estudio de Cotino (2019: 14) referencia autores acerca de la dominación y gobierno a través de los datos y algoritmos en términos de “la tiranía de los algoritmos o algocracia” (Danaher, 2016), “dictadura de los datos” (Cukier & Mayer-Schönberger, 2013) y “dataísmo” (Harari, 2016)." (p.91)

"Otros textos señalan la invasión a un ámbito personal: la autonomía como derecho de las personas a tomar decisiones sobre sí mismo se podría ver comprometida cuando se le entrega el poder de decisión a máquinas (Floridi et al., 2018)" (p.92)

"manipulación de sujetos mediante el uso de datos y su codificación en algoritmos: configuración y empleo de patrones, manipulación del mundo virtual y del estado de ánimo a través de la personalización masiva, positiva o negativa, de noticias o la ingeniería semántica (Cotino, 2017: 141)." (p.93)

"el Manifiesto de Barcelona (2017) declara su preocupación por sistemas como el de mensajería automática “diseñados para la manipulación de la opinión política, la desinformación a través de la propagación de hechos falsos, extorsión u otras formas de actividad maliciosa”" (p.93)

"el análisis de Lanier señala modelos de negocio encubiertos en quienes configuran los datos y encuentran clientes con disposición a pagar para modificar el comportamiento de otras personas, en algunos casos se busca sacar lo peor de las personas." (p.94)

"Estas nuevas formas de manipulación y adicción configuran un paso de la biopolítica a la “psicopolítica digital”, un último estadio mucho más sofisticado (Espinosa, 2018: 111), un nuevo control desde dentro para ser más efectivos (Cruz, 2017) y una forma de “vigilancia digital” con la capacidad de leer y controlar los pensamientos (Han, 2014). La tercera analogía (F3) indica la oportunidad de fortalecer la libertad y el pensamiento crítico." (p.94)

" Si la conciencia, además de subjetiva es singular, a partir de signos externos que corresponden con estados internos, se podría lograr en estos sistemas que muestren signos externos y desarrollar supuestas configuraciones “conscientes”, hasta el punto de que los robots serían superiores morales de los humanos (Rubin, 2003)." (p.99)

"La discusión supera las preguntas acerca de si hay impacto en términos de peligros, posibilidades u oportunidades a causa de los desarrollos de las IAs. Los avances no sólo son inevitables y parecerían ser imparables, pero no deberían ser ilimitados e irracionales con la falacia de que deben avanzar “porque sí, porque se puede”, sino que se deberían esbozar motivos, argumentos (Postigo, 2018: 52) y valorar sus impactos en términos de modos, lugares y escalas de tiempo (Floridi et al., 2018)." (p.100)


Debates para além-texto



Introdução, definições e conceitos



Um elemento central para a caracterização da IA - cujas definições, como vistas dos textos, são várias e amplas - é a noção de cognição. Trata-se, ao que parece, de uma epistemologia e uma forma de pensar, formular estratégias, processar dados e agir. Transpassa, pois, conhecimento e ação/atividade. Enquanto tais (epistemologia, teoria da atividade), a IA aproxima-se vertiginosamente de uma metateoria interdisciplinar com a informática, de modo que pensar o ser humano e o robótico abre espaço para debates nos vários campos do saber, das ciências à filosofia.

Outro elemento central conexo à cognição e que está central no debate em IA - e em sua conexão com os Serviços de Inteligência (SI) - é a tomada de decisão. A cognição, enquanto processo [humano?], envolveria a série de passos executados para a formulação de uma tomada de decisão, envolvendo desde a fase de inputs (recebimento de informações do meio, sensibilidade às contingências de reforçamento e punição dos comportamentos humanos) até a fase de outputs (respostas comportamentais oferecidas ao meio).

A noção filosófica já presente em Wittgenstein e psicológica já presente em Skinner de que o ser [humano] é um limite arbitrário vê-se mais claramente presente e em debate aqui, quando se tratam de robôs, desroupados de todo romantismo filosófico-poético da ideia do “ser”.

Discussão, problemáticas de legitimação e desenvolvimento econômico e social



Do ponto de vista epistemológico, a IA nos impõe o pensamento dinâmico, funcional, relacional e cético, tornando obsoletas as opções estáticas, estruturalistas, analíticas e dogmáticas. Isso por um motivo imediato de ordem tecnológica - a heurística embarcada no funcionamento de tais máquinas - e de ordem filosófica: a própria noção de verdade (que envolve uma tomada de decisão: nomear algo como verdadeiro ou não) é posta em xeque. Ora, se decisões, em linhas gerais, são tomadas em prol da verdade, do justo, do bom e do adequado e essas mesmas decisões serão delegadas a IA, é preciso, primeiro, avaliar o que são, como se aparecem e quais as condições do verdadeiro, do justo, do bom e do adequado para que possam ser embarcados nas novas tecnologias. Isso não fora resolvido sequer pela filosofia: que corre ainda contemporaneamente em um debate secular entre dogmatismo e ceticismo, romantismo-filosófico e racionalísmo-lógico-analítico.

Do ponto de vista econômico, há de se lembrar quem produz e quem acessa a IA e sob quais termos. Em linhas gerais, são produzidas por grandes corporações, que possuem o controle econômico e o acesso a recursos para pagar pelos custos de desenvolvimento dessas tecnologias, de modo que o produto retornado será aquele que maximizará seus lucros, em especial em um mundo em que as margens gerais de lucros vê-se em declínio e extrapolam-se a desigualdade social e a exploração em prol da manutenção desses lucros. Quem acessa e sob quais termos acessa são duas categorias de pessoas em primeira reflexão: a) aquelas com acúmulos e recursos, que pagam pelo desenvolvimento do produto, e que também buscam se beneficiar das entregas do produto (e que também se beneficiam, ainda que por vezes indiretamente, da desigualdade social); b) aquelas sem recursos que se veem tolhidas no seu poder decisório quando sua autonomia é relegada a uma IA imposta por um Estado, uma economia ou uma empresa. Posto nestes termos, o embate sobre se a IA beneficia, nos termos em que está proposta atualmente, a sociedade, parece clara a resposta negativa. E não parece se tratar de um equilíbrio entre benefícios e malefícios, para a qual se poderia calcular uma média, posto que estes benefícios e malefícios estão direcionados a pessoas diferentes.

Do ponto de vista do trabalho, em especial da Divisão Internacional do Trabalho, o mesmo se repete. Afirma-se, com certo entusiasmo nos meios privilegiados, que a IA cria mais postos de trabalho do que retira, uma vez que pessoas são deslocadas aos serviços de desenvolvimento de tecnologias, trabalhos que seriam, em alguma perspectiva, talvez até de melhores condições de vida. Entretanto, não se deve esquecer a existência [ainda?] das fronteiras nacionais, para as quais as teorias internacionalistas tecem profundas críticas. Nesse sentido, os postos de trabalhos excluídos seriam retirados de Estados do “terceiro mundo” e criados novos postos nos Estados de “primeiro mundo”, aprofundando as disparidades também entre nações.

Do ponto de vista da (de)colonialidade do saber, interessante notar que esse discurso pró-IA, em especial com argumentos de bem-estar pelas funções desempenhadas pelas IA e pela criação de novos postos de trabalhos é reproduzida acriticamente por pesquisadores inclusive do terceiro mundo, mostrando o claro processo de colonização do saber e do ser.

Do ponto de vista filosófico, foram novamente levantadas as problemáticas da transferência dos processos decisórios, da criação de novas autoridades morais (sejam elas humanas ou robóticas, como órgãos de supervisão e conformidade, sob discursos de governança, expandindo as cadeias hierárquicas de poder, num movimento contrário à horizontalização). Com a transferência da arbitrariedade do operador do direito para a máquina, há ainda o risco da arbitrariedade exponencial, sob o mito da objetividade, juntamente à tentativa de otimização.

Isso nos leva ao debate sobre as antinomias entre princípios jurídicos administrativos, como a Segurança Jurídica e a Eficiência. Normalmente, são pensados tais princípios como correligionários: sumulando-se entendimentos, permite-se decidir mais prontamente sobre questões similares, aumentando a eficiência. Entretanto, na mesma medida em que se consolidam as decisões, cerceiam-se os espaços e possibilidades de questionamento, uma vez que se parte do princípio que tais decisões podem ser reiteradas, posto que similares, não sendo revisitadas criticamente sob novas óticas e olhares.

Há já, na literatura científica, uma nova perspectiva da Segurança Jurídica que a postula como um macroprincípio materializado na sensação de segurança que o administrado pode/deve ter de que o Estado lhe garantirá a justiça nas decisões. Desse modo, em vez de decisões reiteradas não mais revisadas, a Segurança Jurídica exigiria exatamente o oposto: a possibilidade de contestação e ampliação dos espaços de debate, tornando-se antinômica à Eficiência.

Essa problemática postula, portanto, um novo embate jurídico, filosófico e político, em especial sobre quais os critérios de legitimidade na decisão tomada sobre princípios. Seria a eficiência um critério realmente legítimo para a tomada de decisão?

Conexa à questão da eficiência, resta a questão dos vieses. Muito se discute sobre a redução ou até a extirpação dos vieses na tomada de decisão - seja por operadores do direito, seja por máquinas - sob a fantasia da possibilidade de uma objetividade absoluta e acesso à verdade e realidade objetiva. Como já posto, sequer a filosofia solucionou a problemática em torno da verdade e da opinião, e parece assente, nos debates que acompanhamos, que os vieses existem e estão aí para ficar.

A questão que se coloca, portanto, é que sejam usados a nosso favor: vieses em prol do bem, da justiça, da igualdade, da fraternidade, da liberdade, e tantos outros valores a serem defendidos profundamente pela sociedade.

É nesse sentido que os debates caminham para sua conclusão: pela clara necessidade de postulação categórica e quase dogmática da tendência à não antropomorfização das máquinas. Segundo a tese da ortogonalidade, inteligência e objetivos finais possuem propriedades independentes e ortogonais, de modo que até o momento é impossível evitar que a tomada de decisão em IA seja baseada em “fins justificando os meios”, uma vez que a abordagem utilitarista maximiza os resultados em despeito das potenciais externalidades geradas, aqui debatidas qualitativamente.


---
Voltar para página inicial