As armadilhas da fé salvacionista nos algoritmos

Machine learning, smart cities, são palavras do DNA marqueteiro do mundo digital. Na pandemia, frustram ao não prever ou corrigir catástrofes. Pesquisador levanta o debate essencial para tornar a tecnologia um meio – e não mero fetiche

Gilson Schwartz, em entrevista ao IHU Online

Inteligência Artificial se tornou uma “buzzword”, anglicismo que se refere à “palavra da moda”. Contudo sua história é mais antiga e remonta a três fases: seu surgimento com as máquinas de tecelagem em Manchester (Inglaterra), uma segunda etapa vinculada às instruções para fabricação de suportes para a memória e a terceira, mais contemporânea, que se une à governança digital. “A terceira etapa ou dimensão, que apenas nos últimos anos vem ganhando notoriedade em função das muitas disfunções e patologias sociais, distopias e ameaças de totalitarismo cibernético, é a governança e legitimação dos sistemas que executam instruções e supostamente preservam as memórias acumuladas ao longo dos cálculos”, pondera o professor e pesquisador Gilson Schwartz, em entrevista por e-mail à IHU On-Line.

Certo modo, se tornou chique ou, ao menos, performático falar com entusiasmo dos algoritmos ou da Inteligência Artificial, como que a atestar uma certa conexão com o espírito do tempo, mas que no fundo se sustenta sobre uma frágil estrutura. “Embora a criação de ‘buzzwords’ na informática faça parte do DNA marqueteiro da digitalização a que se submetem as sociedades desde o pós-guerra, é novamente na rua, na praça pública, na manifestação política e de modo crescente no ativismo judicial que se percebem os riscos, ameaças e distopias potenciais associadas ao design de sistemas ditos inteligentes de automação da tomada de decisões”, argumenta o entrevistado. “O que estamos observando em casos como esses (desastre natural, crise sanitária e colapso financeiro) é que a inteligência artificial, ou seja, a automação, digitalização e centralização dos sistemas de informação supostamente distribuídos ou descentralizados não apenas é insuficiente na prevenção como pode ser catastrófica na resolução desses problemas”, critica.

Gilson Schwartz é graduado em Economia e em Ciências Sociais pela Universidade de São Paulo – USP, mestre e doutor em Ciências Econômicas pela Universidade Estadual de Campinas – Unicamp. É pesquisador associado ao Núcleo de Política e Gestão Tecnológica – PGT da USP e integra o Programa de Pós-Graduação Interdisciplinar Diversitas, na Faculdade de Filosofia, Letras e Ciências Humanas da USP. Também é professor livre-docente em Economia do Audiovisual no Departamento de Cinema, Rádio e TV da Escola de Comunicações e Artes da USP

Confira a entrevista

Qual, afinal de contas, o propósito da Inteligência Artificial?

A expressão “inteligência artificial”, como tantas na história das tecnologias de informação e comunicação, é uma “buzzword” (chavão da moda), nesse caso já bastante longevo. Reduzida ao essencial, a inteligência artificial nada mais é que a codificação, ou seja, criação de códigos para organizar a experiência por meio de sistemas de informação e comunicação. Numa palavra, programação.

A partir do pós-guerra, programação de computadores. Pode ser definida evolutivamente em três etapas. Numa primeira, tratava-se de fazer com que máquinas realizassem tarefas seguindo determinadas instruções. Talvez o exemplo mais antigo (e já usando uma versão curiosa de cartões perfurados) sejam as máquinas de tecelagem em Manchester (o berço do capitalismo industrial moderno).

Uma segunda etapa ou dimensão da inteligência artificial é complementar à programação de instruções à fabricação de suportes para a memória (seja de dados usados nas instruções, seja de resultado de cálculos que se tornam dados para novos cálculos).

A terceira etapa ou dimensão, que apenas nos últimos anos vem ganhando notoriedade em função das muitas disfunções e patologias sociais, distopias e ameaças de totalitarismo cibernético, é a governança e legitimação dos sistemas que executam instruções e supostamente preservam as memórias acumuladas ao longo dos cálculos. Essa dimensão é uma espécie de retorno às origens, pois não há base de dados, instruções ou mecanismos de “preservação” da memória que sejam imunes a decisões subjetivas, políticas e sociais.

No momento atual, que tem sido comparado por muitos a uma economia de guerra ou estado de exceção, os propósitos e efetividade da assim chamada inteligência artificial e seus campos derivados ou associados (“machine learning”, “internet of things”, “smart cities” etc.) têm sido objeto de muita polêmica, frustração e preocupação crescente com os riscos de vigilância, coerção e manipulação midiática.

Em linhas gerais, como são projetados os sistemas de Inteligência Artificial? Eles poderiam ser mais eficientes do ponto de vista da segurança das pessoas?

Todo sistema de inteligência artificial é um conjunto de programas que executam tarefas e gerenciam memórias cuja governança, legitimidade e controle social dependem do contexto. A pesquisa mais avançada é de caráter sócio-técnico, ou seja, não se trata simplesmente de escolher um hardware, um software e um problema a ser resolvido por meio de processos automáticos de tomada de decisão, mas sobretudo de avaliar os contextos normativos, sociais, culturais, econômicos e ambientais em que esses elementos serão inseridos. Embora a criação de “buzzwords” na informática faça parte do DNA marqueteiro da digitalização a que se submetem as sociedades desde o pós-guerra, é novamente na rua, na praça pública, na manifestação política e de modo crescente no ativismo judicial que se percebem os riscos, ameaças e distopias potenciais associadas ao design de sistemas ditos inteligentes de automação da tomada de decisões.

Os sistemas de Inteligência Artificial foram projetados para momentos de “normalidade”. Como a pandemia de covid-19 impacta os sistemas de IA?

Diria que a inteligência artificial é uma prática de normatização, ou seja, de aprisionamento em códigos, regras e sistemas controláveis (mas, por quem?) de nossas vidas que sempre serão contingentes, sujeitas ao acaso, à incerteza e mesmo a catástrofes (seja um tsunami, uma pandemia ou uma quebra financeira sistêmica). O que estamos observando em casos como esses (desastre natural, crise sanitária e colapso financeiro) é que a inteligência artificial, ou seja, a automação, digitalização e centralização dos sistemas de informação supostamente distribuídos ou descentralizados, não apenas é insuficiente na prevenção como pode ser catastrófica na resolução desses problemas. Creio que o problema é anterior à questão da escala dos problemas, trata-se simplesmente da inevitabilidade do acaso, da contingência e da liberdade política na contramão dos ímpetos de controle e gestão eficiente de sistemas complexos.

De que maneira o papel dos seres humanos se atualiza em relação à IA neste momento pandêmico?

Inteligência artificial não é mágica, depende do contexto em que operam os sistemas algorítmicos. É interessante uma chamada recente para um evento do periódico “New Media and Society” que define o desafio nesse momento como “multiplying the contexts of algorithmic governance and governing algorithms in context” (multiplicar os contextos da governança algorítmica e buscar a governança dos algoritmos em seus contextos”).

Quais são as diferentes realidades construídas pelo uso de algoritmos de governança? Como eles se desenrolam no tempo e no espaço? Como os indivíduos em contextos privados ou organizacionais interpretam e respondem à governança algorítmica? Quais são as semelhanças e diferenças na implantação de governança algorítmica nos setores público e privado? Quais são os desafios do desenvolvimento de estratégias eficazes para algoritmos de governo na interseção entre legislação, direitos humanos e tecnologia? Como é que os diferentes públicos podem tomar conhecimento dos problemas, riscos e ameaças algorítmicas? Como os sistemas educacionais enfrentarão o desafio de promover a literacia sobre esses temas que são caros à disseminação de mídias e informação, em especial diante de vazamentos de dados pessoais, fake news e programação de hábitos, preferências culturais e manipulação política e de preferências dos consumidores de produtos, serviços e bens intangíveis?

Essas são as perguntas que demoraram para surgir, mesmo porque toda a digitalização contemporânea é uma decorrência da hegemonia determinante de setores de governo e grandes corporações que desde o final da Grande Guerra voltaram-se ao controle social e à promoção de um consumo de massa acelerado com prioridade no lucro e na maximização do poder de monopólio. Mal começamos a entender as principais questões e estamos ainda bem longe de encontrar respostas adequadas.

De que forma poderíamos prever, com ajuda da Inteligência Artificial, picos pandêmicos por meio da mudança no comportamento dos consumidores on-line? Considerando, entre outras coisas, os itens que são comprados na Internet?

Christopher Mims alertou no “Wall Street Journal” em maio de 2020, quando os EUA já tinham passado a marca trágica de 100 mil mortos pelo coronavírus, para a erosão do “hype” em torno da inteligência artificial decorrente da crise sanitária. Os sistemas de informação nada mais podem fazer que projetar tendências a partir de dados coletados no passado. Ou seja, por definição, trata-se de um procedimento que é extremamente poderoso quando nada ou quase nada muda. A partir do momento em que a mudança é radical, a “inteligência” simplesmente trava porque o que era tendência registrada em “big data” torna-se completamente irrelevante. Que sistema poderia prever que as ruas de dezenas de cidades norte-americanas seriam ocupadas por milhões de cidadãos revoltados a partir do assassinato criminoso (por policiais!) de um suspeito negro numa situação absolutamente corriqueira numa cidade praticamente irrelevante?

Como se dá a relação dialética entre o comportamento dos humanos em relação à Inteligência Artificial e da Inteligência Artificial em relação com os humanos?

O propósito da inteligência artificial, ou seja, da programação de máquinas, sempre foi a automação, ou seja, a garantia de regularidade com aumento da eficiência e produtividade dos sistemas econômicos independente da vontade de cada indivíduo. Praticamente um século depois do desenvolvimento das máquinas de codificação na Segunda Guerra Mundial, voltamos ao início para reconhecer que nenhuma tomada de decisões é questão apenas de formalização, mas depende de condicionamentos sociais, políticos e culturais.

Curiosamente, Alan Turing, praticamente o inventor da Inteligência Artificial e da própria noção de algoritmo, discordava de outro gênio contemporâneo, Ludwig Wittgenstein, que alertava para a natureza intrinsecamente intersubjetiva, prática e cultural dos sistemas, ou seja, para seu caráter histórico e contingente. Ambos foram colegas em Cambridge, ambos sofreram com os códigos morais herdados da Era Vitoriana – eram homossexuais que foram perseguidos e no caso de Turing até mesmo condenados judicialmente pela opção de gênero.

Gostou do texto? Contribua para manter e ampliar nosso jornalismo de profundidade: OutrosQuinhentos

Leia Também: