IA: o viés normalizante impacta a democracia
Ao expor realidades sociais ocultas, nova tecnologia pode ser ferramenta excelente para políticas públicas. Mas sua incapacidade de lidar com o singular e o emergente pode produzir normalização indesejável. Há formas participativas de evitá-lo
Publicado 22/02/2024 às 15:52
O emprego da tecnologia no setor público passa hoje pela sua terceira onda, com o uso da inteligência artificial – IA (Dunleavy & Margetts, 2023). Essa tecnologia poderá ser usada de diversas maneiras, em especial, em ações de monitoramento e controle, inclusive legal e financeiro. É, de fato, uma notícia alvissareira, haja vista que o uso da IA permite o tratamento de vastos volumes de dados que, de outro modo, seriam escrutinados de modo exaustivo por agentes humanos ou controlados por amostragem randômica. O emprego desse instrumento em campos mais complexos, como a da gestão de cidades, contudo, apresenta ainda enormes desafios. Isso, pois, essa tecnologia apresenta forte viés “normalizante”, no sentido de que é capaz induzir normas de conduta majoritárias a todo o conjunto da sociedade, restringindo sua diversidade de comportamento (1).
Complexa como possa parecer, a inteligência artificial é um recurso de detecção de padrões de regularidade em Big Data, padrões esses que podem ser mais ou menos complexos e recorrentes. Por trabalhar a partir de uma lógica correlacional, a IA falha miseravelmente na detecção, análise e categorização de singularidades, diferenciações e irregularidades, a não ser que essa instrução seja inserida dentro dos parâmetros de programação ex-ante.
Tão ou mais antigo que o campo da IA, o campo dos sistemas complexos tem como aspectos centrais à sua constituição a observação, análise e categorização de condições de ocorrência de irregularidades, sejam elas singularidades, excepcionalidades ou diferenciações. A percepção de algo diferente em um sistema, e a observação do seu impacto sobre sua a ordem geral, é o que explica, muitas vezes, sua mudança, e o que permite navegarmos em novas dimensões interpretativas acerca do seu funcionamento, desvelando novas realidades.
O exame da diferença ilumina, desse modo, campos teóricos estabelecidos, tais quais a cibernética, as ciências biológicas e as ciências ambientais (2). Isso para não falarmos da necessidade de considerarmos ambiguidades e múltiplas afiliações na constituição de taxonomias analíticas, elementos fundantes de qualquer lógica epistêmica constituinte de um sistema social (3). Lógica essa cuja arquitetura informacional, diga-se de passagem, encontra correspondência na arquitetura de sistemas orientado-a-objeto (4), sem os quais a IA como é utilizada hoje não seria possível.
A detecção de padrões de regularidade, contudo, tem sido a tônica do emprego da IA pois é peça-chave da sua lógica fundamental. No que toca à detecção e classificação dos desvios dessas regularidades, isso tem sido não só realizado por contingentes de classificadores humanos, como os critérios de escolha do que venha a ser o irregular são informados a esses classificadores de acordo com a lógica da indústria na qual estão trabalhando (Moreschi, Pereira & Cozman, 2020; Cho & Kim; 2004). Isso quer dizer que o viés normalizante das soluções de IA é, com certeza, economicamente, para não dizer politicamente, orientado.
Frente a isso, perguntamos: não seria possível ensinar uma máquina a identificar padrões de mudança? Se pensarmos mudança de acordo com o matemático René Thom, não. Isso porque compreender uma mudança depende de identificarmos fatores de excepcionalidade, algo que uma IA jamais poderia fazer. Assim, temos que uma IA jamais será, digamos, “cautelosa” (no sentido de ser inteligente e apta à mudança), pois ela não tem percepção do que não sabe e simplesmente ignora o risco advindo do imprevisto. Frente a uma mudança de contexto, a IA simplesmente ignora, segue em frente e falha, miseravelmente, sucumbindo ao desconhecido.
A sustentabilidade e o sucesso de um sistema de IA depende, portanto, de manter seu funcionamento dentro de parâmetros ambientais previsíveis. Em outras palavras, uma IA funciona para sustentar regularidades e responder de modo adaptativo a parâmetros pré-concebidos de variação.
Ao se considerar o emprego da IA em meio urbano, é preciso perceber que a captura de reações dos cidadãos e a resposta oferecida por esses sistemas promovem, ato contínuo, ofertas variáveis na prestação de serviços. Isso quer dizer que o padrão resultante dessa interação humano-máquina pode permitir tanto a emergência como a indução de comportamentos coletivos de natureza sistêmico-adaptativa. Nesse quadro, a relação entre corpo social e sistemas tecnológicos é mutuamente constitutiva, contextual e dependente, tanto de modelos de negócio, quanto dos processos de mediação concebidos para seu funcionamento (Norman, 2014; Zuboff, 2015).
Problemas resultantes do uso da IA em meio urbano são já conhecidos. Rodrigo Brandão (2023) aponta riscos e oportunidades do emprego do uso do IA nas políticas públicas e seu impacto sobre a exclusão social. Ratti (2023), do MIT, faz alertas equivalentes em seu estudo em que apresenta a possibilidade de desenharmos políticas públicas a partir da correlação entre imagens de bairros, obtidas pelo Google Street View, e dados sociais, por meio da IA.
O remédio para tratar desse dilema parece ser, inevitavelmente, político. Inicialmente, é preciso admitir que ao falar da relação entre pessoas e sistemas de IA, adentramos o campo da mediação, portanto, da comunicação política. De acordo com Chambers (2017), uma proposta ampla de comunicação política só pode ser compreendida por meio das lentes da democracia se adotarmos uma abordagem sistêmica para a deliberação. Essa abordagem sistêmica, no entanto, muitas vezes introduz uma divisão de trabalho entre cidadãos comuns e especialistas (“elites conhecedoras”). No caso da IA, certamente é o que vemos hoje. Embora essa divisão do trabalho seja inevitável, e de certo modo até possivelmente compatível com o princípio deliberativo da legitimidade, ela flerta com as teorias elitistas em que grupos privilegiados apresentam as agendas, ideias e posições políticas, e os seus públicos ratificam ou repudiam essas agendas, mas não geram ou se envolvem na elaboração dessa agenda. Isso viola uma característica definidora essencial da democracia deliberativa, que é a qualidade epistêmica do debate e a possibilidade de participação igualitária. Nesse sentido, ainda segundo Chambers (2017), cabe resgatar Habermas, que considera a democracia um sistema de feedback permanente entre formuladores e beneficiários de políticas públicas.
A ideia de inserir pessoas no ciclo de qualificação de informações de instrução de uma IA (“human-in-the-loop”), portanto, parece ser uma tendência inequívoca, e que veio para ficar (Mosqueira-Rey et al., 2023). Mas, quais os critérios para tanto? Quais os recursos que devemos utilizar? Qual seu impacto sobre a governança e a regulação dos sistemas de IA. São todos os sistemas de IA que deverão ser assim regulados? Tal qual apontado acima, esse é um assunto que vai além da tecnologia, que envolve o interesse de todos e, como podemos ver, é um debate que está só começando.
Notas
(1) Esse assunto foi abordado na fala de abertura do 13º Congresso Brasileiro de Engenharia de Produção, que versa sobre “Perspectivas e limitações do emprego da Inteligência Artificial para o provimento de infraestrutura e produção do espaço urbano”. Outros pontos abordados foram: invisibilidade social e ausência de dados no contexto de uma sociedade desigual; anomia moral da IA; governança e responsabilização de ações empregando IA; o desafio da governança de dados e a gestão de risco de ações empregando IA. Para mais detalhes ver https://www.youtube.com/watch?v=I_XnDRRX148
(2) Tanto para René Thom (1969, 2018), quanto para Ashby (1954, 1956), e para Luhman (1995), para mencionar alguns atores fundantes, a observação de singularidades, excepcionalidades, diferenciações e irregularidades são aspectos centrais em sua obra.
(3) Campos tais quais a teoria ator-rede e a psicologia social lançam mão desses recursos analíticos. Sendo assim, tanto para Freud, quanto para Chomsky (2023), Kanehman (2016), Sunstein (2016), Latour (in Law & Hassard, 1999), dentre outros, o estudo de ambiguidades e múltiplas afiliações interpretativas são centrais aos seus estudos.
(4) Sistemas orientados-a-objeto são arquiteturas de base de dados nas quais entidades podem possuir vários atributos ao mesmo tempo. Ainda, de acordo com cada relacionamento, ou conjunto de relacionamentos entre entidades, atributos específicos podem ganhar maior ou menor relevância desenhando quadros gerais distintos, dinâmicos e responsivos. Do ponto de vista estatístico, essa operação equivale a uma alternativa à regressão estatística e à estatística multivariada, e a possibilidade de aferir comportamento complexos e diferenças-dentro-de-diferenças em um sistema. Ainda que nascida nos anos 70, essa arquitetura alcança abrangência comercial somente na primeira década do século XXI, por meio do lançamento de bases Oracle do tipo 11ig. Esse fenômeno teve como consequência, dentre outras, além da derrocada da hegemonia SAP-IBM nos anos subsequentes, possibilitar a integração de sistemas envolvidos em sistemas de geoprocessamento permitindo sua ampla popularização. Atualmente, é utilizada para a modelagem de sistemas complexos e em inteligência de dados.
Referências:
ASHBY, William R. (1956). An introduction to cybernetics. Connecticut: Martino Fine Book.
ASHBY, Ross & STEIN, Paul R. (1954). Design for a Brain. Connecticut: Martino Fine Book.
BRANDÃO, Rodrigo. (2023). Notas Críticas (setor público): Breve reflexão sobre IA no setor público: riscos e oportunidades. https://understandingai.iea.usp.br/nota-critica/a-vida-da-ia-trabalho-humano-dados-e-recursos-planetarios-copia/.
CHAMBERS, Simone. (2017). Balancing epistemic quality and equal participation in a system approach to deliberative democracy. Social Epistemology, 31(3), 266-276.
CHO, Yoon. H., & KIM, Jae Kyeong. (2004). Application of Web usage mining and product taxonomy to collaborative recommendations in e-commerce. Expert systems with Applications, 26 (2), 233-246.
CHOMSKY, Noam, ROBERTS, Ian., & Watumull, Jeffrey (2023). Noam Chomsky: The False Promise of ChatGPT. The New York Times, 8.
DUNLEAVY, Patrick., & MARGETTS, Helen. (2023). Data science, artificial intelligence and the third wave of digital era governance. Public Policy and Administration, 09520767231198737.
DANIEL, Kahneman. (2017). Thinking, fast and slow. New York: Farrar, Straus and Giroux.
FAN, Zhuangyuan, FAN, Zhang, LOO, Becky PY & RATTI, Carlo. Urban visual intelligence: Uncovering hidden city profiles with street view images. Proceedings of the National Academy of Sciences 120, no. 27 (2023): e2220417120.
(2023). Urban visual intelligence: Uncovering hidden city profiles with street view images. Proceedings of the National Academy of Sciences, 120(27), e2220417120.
LAW, John., & Hassard, John. (1999). Actor-network theory and after.
LUHMANN, Niklas. (1995). Social systems. Stanford University Press.
MORESCHI, Bruno., PEREIRA, Gabriel., & COZMAN, Fabio G. (2020). The Brazilian Workers in Amazon Mechanical Turk: dreams and realities of ghost workers. Contracampo, 39(1).
MOSQUEIRA-REY, Eduardo et al. (2023). Human-in-the-loop machine learning: A state of the art. Artificial Intelligence Review, 56(4), 3005-3054.
NORMAN, Don. (2014). Things that make us smart: Defending human attributes in the age of the machine. Diversion Books.
SUNSTEIN, Carl. R. (2016). The ethics of influence: Government in the age of behavioral science. Cambridge University Press.
THOM, René. (1969). Topological models in biology. Topology, 8(3), 313-335.
THOM, René. (2018). Structural stability and morphogenesis. CRC press.
ZUBOFF, Shoshana. (2015). Big other: surveillance capitalism and the prospects of an information civilization. Journal of information technology, 30(1), 75-89.
