QUEM SOMOS

ENSAIO

Um prego para que não caiam*

Uma breve reflexão filosófica e teológica sobre chatbots e IAs

Lucas Vasconcellos Freitas|

19/05/2023

Screenshot 2023-05-19 at 13.15.14

Lucas Vasconcellos Freitas

Casado, pai de duas meninas e pastor batista em São Paulo. Mestre em Teologia com ênfase em estudos interdisciplinares pelo Regent College (Vancouver, Canadá) e bacharel em direito pelo Mackenzie (São Paulo).

Baixe e compartilhe:

Como citar

FREITAS, Lucas Vasconcelos. Um prego para que não caiam: uma breve reflexão filosófica e teológica sobre chatbots e IAs. Unus Mundus, Belo Horizonte, v. 1, n. 1, mar. 2023.

Na década de 1960, Joseph Weizenbaum, professor do Massachusetts Institute of Technology (MIT) e pioneiro no desenvolvimento de chatbots, já observava a tendência humana de atribuir consciência a programas de computador produzidos para simular conversas. O chatbot produzido por Weizenbaum e sua equipe foi interessantemente nomeado de Eliza, em alusão à lendária estátua esculpida por Pigmalião,¹ que tinha aspecto tão vívido que levou o escultor a apaixonar-se por ela. Apesar da simplicidade do programa por trás do Eliza e de sua incapacidade de passar no famoso teste de Turing, muitos usuários desse chatbot primitivo já se perguntavam se havia uma personalidade real operando nas entranhas dos enormes e barulhentos computadores disponíveis à época. Isso levou Weizenbaum a escrever um artigo científico cujo objetivo era desmascarar o funcionamento do seu próprio programa, a fim de que a “magia” desmoronasse perante os usuários.² Pode-se dizer que o presente ensaio tem um objetivo parecido, embora com uma inclinação notadamente teológica: tirar o prego que foi colocado para manter de pé as iterações atuais da estátua Eliza (Jr 10:4).

Para tanto, este artigo argumentará que, tal como os ídolos de outrora, os chatbots são incapazes de transcender sua existência exclusivamente física. Depois, analisará as abstrações linguísticas necessárias para a produção de um chatbot, prosseguindo com uma breve visita à filosofia do senso comum de Thomas Reid para tentar esclarecer por que somos tão suscetíveis à ilusão de acreditar que esses chatbots têm um aspecto imaterial e metafísico — uma consciência. Por fim, uma rápida reflexão teológica, alertando para os riscos de que essa tecnologia nos conceda olhos que não veem e ouvidos que não ouvem.

Ilusões metafísicas e metalinguísticas

Programas que simulam conversas humanas não são novidade. Eliza, o chatbot pioneiro, foi produzido em meados da década de 1960. Contudo, os sucessores intelectuais do primeiro chatbot desfrutam de um significativo desenvolvimento na arquitetura computacional e de programação. Os modelos atuais, chamados de Large Language Models (LLMs), são bem mais sofisticados do que o programa Eliza. Isso poderia tornar mais desafiadora a tarefa de desmascarar o funcionamento das novas versões, porém, em um nível ainda mais fundamental, e independentemente de qualquer complexidade por trás dos chatbots contemporâneos, há a realidade inescapável do hardware.

Uma das ilusões mais comuns gerada pela tecnologia digital é que ela tem uma existência estritamente metafísica, ou seja, para além da realidade física. Essa ilusão se tornou ainda mais forte com a popularização do armazenamento remoto de dados possibilitada pela ampliação da velocidade das conexões de internet. Foi esse salto de infraestrutura que possibilitou que a Netflix deixasse de ser um serviço de aluguel de filmes por correio e se tornasse uma gigante do streaming. Para o usuário final, esse aumento de banda possibilitou uma integração mais completa entre os diferentes dispositivos eletrônicos, tornando boa parte dos aparelhos que estão diante de nós meros pontos de acesso a dados armazenados em outro lugar. Sejam os filmes que assistimos, as compras que fazemos ou as interações digitais que temos uns com os outros, tudo está flutuando em uma realidade paralela: a “nuvem”. Assim, nosso uso cotidiano dos meios digitais reforça essa ilusão metafísica gerada pela tecnologia.

em um nível ainda mais fundamental, e independentemente de qualquer complexidade por trás dos chatbots contemporâneos, há a realidade inescapável do hardware.

Essa ilusão também é sustentada por feitos de engenharia tão incríveis que parecem mágica.³ Microchips nos levam a duas escalas de grandeza que são praticamente incompreensíveis para nós: bilhões de transistores compactados em invisíveis nanômetros. Essas escalas de grandeza são tão distantes da existência cotidiana de alguém que é difícil imaginar seu real significado. No entanto, isso não muda o fato de que os componentes eletrônicos têm existência física e operam por meio de elétrons, partículas igualmente reais. Ou seja, não são apenas os usuários humanos conectados ao mundo virtual que têm existência física: o próprio mundo digital também existe fisicamente nos componentes eletrônicos que executam o software responsável pela renderização de um conteúdo qualquer. Esse esquecimento do hardware constitui boa parte da força que o encantamento do mundo digital exerce sobre nós. Porém, qualquer análise dessas tecnologias estará incompleta sem o reconhecimento de que tudo o que acontece nas entranhas de um computador requer, necessariamente, um suporte físico. Em outras palavras, o software não pode existir sem o hardware.

Como veremos, às vezes é necessário começarmos uma conversa estabelecendo o óbvio, porque o óbvio costuma ser esquecido. Feito isso, podemos passar ao software que orienta o funcionamento dos circuitos mais complexos. Aqui, a linguagem assume o protagonismo, mas ainda não na forma de chatbots. Antes de chegarmos a eles, precisamos analisar rapidamente o processo de abstração crescente que é inerente à interação da linguagem humana com a linguagem das máquinas.

A abstração linguística não é, em si, um problema. Ao contrário, abstração é uma característica necessária da linguagem, especialmente em forma escrita. Afinal, a associação de letras e sons que está na base dos alfabetos é basicamente abstrata e arbitrária. Porém, os ganhos obtidos com esta abstração são tão marcantes que o alfabeto fonético talvez seja o desenvolvimento tecnológico mais importante da humanidade.⁴ É por meio desse processo de abstração linguística que nos tornamos capazes de transmitir conhecimento ao longo das gerações, sendo a existência de comunicação escrita um dos critérios para determinar a transição entre o período pré-histórico de um povo e o início de sua história propriamente dita.

Esses ganhos foram potencializados quando a linguagem fonética passou a interagir com as máquinas. Basta lembrar a revolução provocada pela imprensa de tipos móveis, “programável” para reproduzir de forma rápida e precisa as páginas de um livro. Mas esse ainda não era o final da jornada, e o alfabeto fonético passaria por um processo ainda maior de abstração nas mãos de Samuel Morse, inventor do telégrafo. Morse codificou o alfabeto fonético latino em uma série binária de pulsos sonoros longos e curtos que poderiam ser transmitidos eletricamente. Com essa invenção, estava inaugurada a comunicação instantânea à longa distância mediada exclusivamente por máquinas.⁵ Outro passo na mesma direção foi dado com o surgimento dos computadores e das linguagens de programação. As informações binárias, que inicialmente eram representadas por furos em um cartão, logo passaram a ser comunicadas de maneira magnética e, eventualmente, foram reprocessadas em linguagem mais próxima da linguagem humana, no que veio a ser conhecido como linguagens de programação de alto nível.

Essa “retradução” da informação binária em comandos mais associados à linguagem cotidiana inverteu um pouco a lógica da comunicação. Afinal, agora as máquinas falam uma linguagem própria, praticamente hermética para os seres humanos. Esse processo gerou um certo esvaziamento da linguagem humana puramente a aspectos lógico-matemáticos, uma realidade que permanece latente em todas as interações humano/máquina. Afinal, embora as tais linguagens de alto nível se aproximem um pouco mais das linguagens naturais e utilizem palavras que um ser humano pode compreender, a “comunicação” estabelecida é estritamente formal, com cláusulas e ordens bem definidas e hierarquizadas. Todavia, mesmo esses comandos estritamente formais ainda não podem ser compreendidos pela máquina. Eles precisam passar por mais uma camada de abstração, em um processo tão complexo que foi amplamente delegado para a própria máquina. Por meio de um compiler, a máquina faz um mapa analítico do código, literalmente traduzindo-o em comandos que possam ser executados pelo processador. O resultado desse processo é uma linguagem absolutamente incompreensível para seres humanos, legível apenas para microchips. Nesse ponto, a linguagem deixou de ser destinada a humanos e passou a se destinar exclusivamente às máquinas.

Afinal, agora as máquinas falam uma linguagem própria, praticamente hermética para os seres humanos. Esse processo gerou um certo esvaziamento da linguagem humana puramente a aspectos lógico-matemáticos, uma realidade que permanece latente em todas as interações humano/máquina.

O mundo opaco das máquinas autônomas

Isso nos leva a uma característica importante da tecnologia moderna: boa parte de seu poder é empregado em interações máquina/máquina, e não humano/máquina. Isso faz com que o relacionamento da tecnologia moderna com o mundo real seja fundamentalmente diferente das relações estabelecidas com o mundo pelas tecnologias pré-modernas. Afinal, como apontado por Craig Gay, professor de estudos interdisciplinares no Regent College, enquanto a tecnologia gerada pela cultura humana pré-moderna era uma espécie de diálogo entre a sagacidade humana e o mundo real, a tecnologia moderna “representa uma espécie de monólogo”.⁷ Enquanto eu durmo, meu celular continua seu frenesi de enviar e receber pacotes de dados do roteador de internet. Pois a máquina continuará fazendo, de forma autônoma, exatamente aquilo para a qual foi programada — ao menos até que a bateria acabe. O custo dessa pretensa autonomia é uma existência completamente opaca para os seres humanos.

Considere, por exemplo, um piano cujas cordas foram substituídas por linha de costura. Com esse piano, nem o melhor pianista vivo seria capaz de transformar em notas musicais as instruções registradas em uma partitura. Agora, considere um circuito eletrônico programado para reproduzir em loop a sequência de bits que representa toda a discografia humana. Além de dispensar a presença de um ser humano para executar a música, esse circuito permanece plenamente capaz de seguir as instruções recebidas em forma de software ainda que o alto-falante responsável por traduzir os impulsos elétricos em ondas sonoras seja substituído por outro componente qualquer. Se um led for colocado naquele espaço, um observador humano verá uma luz acesa, mas permanecerá completamente alheio ao fato de que aquela luz seria mais bem interpretada na forma de ondas sonoras. Afinal, circuitos são circuitos, e são tão similares uns ao outros que poucos são capazes de bater o olho e dizer para qual função específica um exemplar em particular foi projetado. Mas isso não muda o fato de que, dentro do circuito, as instruções viraram corrente elétrica e, portanto, o programa foi executado corretamente. Nesse aspecto, a nossa capacidade de perceber sons é secundária à capacidade do circuito de reproduzir a sequência binária que os representa, e o circuito cumpriu sua função a despeito de nossa ignorância com relação ao que se passava.

Assim, embora qualquer artefato digital tenha uma existência estritamente real, na forma de 1s e 0s armazenados magneticamente em algum lugar do globo, essa existência é absolutamente opaca para nós na ausência de alguma interface que seja perceptível pelos sentidos humanos. Todavia, como já estava claro para Weizenbaum, essa opacidade é absolutamente fundamental para a ilusão de consciência gerada pelos chatbots. Tudo indica que o feitiço não pode ser desfeito simplesmente explicando os mecanismos por trás do programa. Há algo mais fundamental nisso tudo: o próprio desejo humano de encontrar, do outro lado da tela, algo além do que meras operações lógicas.

Tudo indica que o feitiço não pode ser desfeito simplesmente explicando os mecanismos por trás do programa. Há algo mais fundamental nisso tudo: o próprio desejo humano de encontrar, do outro lado da tela, algo além do que meras operações lógicas.

Pontes sobre o vale do estranhamento

Esse aspecto da vontade humana pode ser observado em um caso como o de Joshua Barbeu, que, em 2020, programou uma versão fechada do GPT-3 para enviar mensagens de texto que parecessem ter sido escritas por sua falecida noiva.⁸ Barbeu justificou sua decisão dizendo que não havia nada de estranho nisso, afinal, as pessoas tentam se reconectar com os mortos há milênios. Que mal haveria em usar a tecnologia para fingir que sua noiva estava viva novamente? Barbeu reconhece que, por vezes, a máquina dizia coisas sem sentido. Mas os momentos em que o programa funcionava bem eram tão mágicos que ele se via ansioso para “conversar” com sua falecida noiva. Barbeu conclui que foram seus sentimentos, e não os raciocínios, que o levaram a personificar aquilo que ele sabia não ser humano. No caso dele, o luto pela perda da noiva alimentava seu desejo de acreditar — ou ao menos fingir — que o chatbot tinha algum acesso a um mundo para além da realidade física.

Mas a história de Barbeu não é nova. Um dos primeiros scripts personalizados escritos para o Eliza emulava a maneira como psicoterapeutas de linha rogeriana interagem com seus pacientes: reformulando, em forma de pergunta, aquilo que o interlocutor afirmava a respeito de si.⁹ Isso demonstra que, desde os primórdios, os usuários dos chatbots desejavam cruzar o vale do estranhamento e pedir conselhos à máquina. Talvez por isso a atual versão aberta do modelo GPT-3 diga expressamente que é apenas um “modelo de linguagem” que “não tem opiniões pessoais, emoções, crenças ou vieses”.¹⁰ Tudo indica que esse texto não estava presente na versão fechada do GPT-3 usada por Barbeu, demonstrando a necessidade de um input humano para humanizar uma máquina que, do contrário, simplesmente executaria em loop a série de instruções que recebeu.

Além disso, conforme explicado por Melanie Mitchell, especialista em Inteligência Artificial (IA) e professora do Santa Fe Institute, “estas redes, com seu grande número de parâmetros, são sistemas complicados, cujo processo de decisão pode ser bastante opaco. Em todo caso, parece claro […] que estes sistemas não estão realmente entendendo os dados que eles processam, pelo menos não no mesmo sentido humano de ‘entender’”.¹¹ Ainda de acordo com Mitchell, a pressuposição básica por trás desses modelos é de que “a inteligência é algo que pode ser separada do corpo”, uma suposição “implícita em todo o trabalho em IAs ao longo da história”.¹² Em si mesma, essa já é uma pressuposição altamente questionável e que gera uma cisão entre pensamento e corpo completamente alheia à nossa experiência cotidiana do mundo. Essa percepção leva Mitchel a concluir que o que falta para o desenvolvimento de IAs realmente capazes é entender algo mais básico: o que é inteligência?¹³

Somando-se a isso, temos que qualquer informação que o programa receber do usuário será picotada pela máquina em trechos palatáveis para um computador conforme parâmetros puramente lógico-matemáticos. Ainda que esse processo seja feito de maneira extremamente rápida e, na superfície, o programa pareça interagir de maneira direta, qualquer coisa que for dita à máquina será reduzida a funções lógicas operando no interior de um processador cuja tarefa essencial é mover elétrons daqui para lá, e não interagir com seres humanos.

Mas a realidade é que nada disso impede que nossa pareidolia, essa tendência de reconhecermos formas humanas em qualquer objeto, entre em ação para nos convencer de que há uma consciência do outro lado da tela. Nós temos ciência disso tudo, mas ainda somos convencidos de que a máquina “sabe” algo que nós não sabemos. Para complicar, a interação com o chatbot não precisa ser perfeita, afinal, a comunicação entre humanos está bem longe disso. No fundo, os computadores “não precisam replicar o processo de pensamento humano desde que consigam replicar […] os resultados do pensamento humano”.¹⁴ Ou seja, basta que seja plausível para que a ilusão funcione.¹⁵

Portanto, embora a capacidade generativa dos programas modernos seja bem mais complexa, eles não deixam de ser modelos de probabilidade linguística. Ou seja, concluído o treinamento, a máquina é capaz de elaborar sequências de palavras que provavelmente farão sentido à pessoa que está interagindo com a máquina. Assim, quem reconhece sentido no texto é o usuário, e não a máquina.

Ficam identificadas, assim, ao menos duas pontes que nos ajudam a cruzar o vale do estranhamento. Por um lado, e apesar do desprezo com que essa realidade tenha sido tratada nos últimos séculos, o desejo humano de se conectar com uma realidade metafísica permanece plenamente atuante entre nós. Em segundo lugar, há a tendência humana de atribuir características pessoais, tais como vontade, sentimentos e personalidade, a qualquer coisa que tenha um mínimo de semelhança conosco. Por trás da ilusão, elétrons zapeiam de maneira inaudível em um centro de processamento de dados em algum lugar do mundo real.

Funções, e não bugs

Há paralelos interessantes entre o nosso período histórico e a filosofia do século XVIII, especificamente nos pensamentos de George Berkeley, David Hume e Thomas Reid. A ilusão metafísica que anima boa parte da mística do mundo digital e a plausibilidade das interações com os chatbots podem convencer alguns de que, em breve, viveremos em um mundo de pura abstração, semelhante ao proposto por Berkeley. Personalidades menos sonhadoras, mas igualmente abstratas, poderiam aceitar com alegria o quadro pintado por David Hume: um mundo em que todos os raciocínios são reduzidos a cálculos matemáticos probabilísticos, onde causa e efeito se reconciliam no interior de um microchip.

Percebendo a estranheza das propostas filosóficas de seus pares, Thomas Reid ofereceu uma resposta interessante. Determinado a confiar em sua própria existência,¹⁶ Reid apontou o caminho do senso comum como um antídoto contra a completa dissolução da realidade. Divergindo da abordagem mentalista de toda a escola cartesiana, Reid parte dos sentidos ordinários e conclui que o mundo, de fato, existe. A necessidade de provar o óbvio — o mundo existe! — demonstra o quão distantes da realidade nossas pressuposições filosóficas podem nos levar.

Reid também argumenta que a linguagem humana exerce um papel fundamental em nossa existência no mundo. A importância é tamanha que linguagens puramente abstratas se tornam inaudíveis às nossas paixões, afeições e vontade.¹⁷ Além disso, para Reid, as estruturas linguísticas são uma fonte de informação inestimável sobre os processos que ocorrem na mente humana.¹⁸ Ele também afirma o desejo inato na alma humana de encontrar conexões e sentido mesmo em ocasiões em que a simples coincidência seria a melhor explicação.¹⁹ Ele estabelece, assim, bases firmes sobre as quais repousar o senso comum da humanidade: os sentidos, a linguagem, e o desejo de encontrar ordem e razão no mundo.

Essa abordagem do senso comum, inaugurada exatamente por Reid, é surpreendentemente contemporânea ao estudo das IAs. Mitchell encerra sua discussão listando diversas tentativas contemporâneas de inculcar “senso comum” nas IAs, indicando que essa é a “fronteira atual nas pesquisas sobre IAs”.²⁰ E são essas percepções afiadas do filósofo escocês que nos ajudam a entender o porquê de sermos tão vulneráveis aos truques por trás dos mundos virtuais. Afinal, as “vulnerabilidades” que nos convencem de que os chatbots têm consciência são exatamente as coisas que nos tornam humanos: a crença na existência real das coisas, a linguagem humana e a busca por encontrar sentido e conexão entre causas e efeitos. Ou seja, o mundo digital tenta se impor sobre nós exatamente por meio dessas características de nossa natureza que, subvertendo uma expressão comum entre programadores, são funções humanas, e não bugs.

as “vulnerabilidades” que nos convencem de que os chatbots têm consciência são exatamente as coisas que nos tornam humanos: a crença na existência real das coisas, a linguagem humana e a busca por encontrar sentido e conexão entre causas e efeitos. Ou seja, o mundo digital tenta se impor sobre nós exatamente por meio dessas características de nossa natureza que, subvertendo uma expressão comum entre programadores, são funções humanas, e não bugs.

Um prego para que não caiam

Filósofos poderiam explorar o desenvolvimento da escola escocesa do senso comum a partir de Thomas Reid e suas consequências para o futuro dos chatbots e das IAs em geral. Engenheiros de software poderiam buscar outras maneiras de enxergar seu trabalho que fossem menos dependentes de analogias humanas (IA, aprendizagem de máquinas etc), conforme sugerido por Mitchell.²¹ Até mesmo físicos quânticos poderiam contribuir explorando a interface mente-corpo, na linha sugerida por Eugene P. Wigner.²² A mim, resta apenas uma contribuição teológico-pastoral.

Primeiramente, cumpre dizer que não precisamos descartar todos os feitos da engenharia computacional. São obras humanas e, como tal, têm seu valor. No entanto, tal como Reid, precisamos olhar com certo desdém para propostas que nos convidem a experimentar o mundo por meio de um conjunto parcial de variáveis. Bastaria perceber que os únicos sentidos humanos ativados em nossas interações digitais são a visão e a audição para percebermos o quão limitantes essas interações são. Ademais, mesmo os modelos computacionais mais avançados, que simulam uma quantidade enorme de variáveis, ainda assim estabelecem um recorte extremamente limitado do mundo. São ótimos em prever rotas de asteroides, um pouco menos capazes de dizer se vai chover no feriado, e ainda menos aptos para interagir com seres humanos dotados de cinco sentidos.

Ademais, apesar de toda a empolgação de alguns com os mundos virtuais, nós permanecemos incapazes de criar algo a partir do nada. Qualquer “inteligência artificial” que criarmos continuará devendo sua existência à continuidade da existência do universo real. Além disso, o requisito necessário para possibilitar a interface dessa “inteligência artificial” com nossos sentidos de carne é uma enorme cadeia de abstrações lógico-matemáticas. Conforme alerta Reid, quanto mais abstrata for uma linguagem, mais impermeável ela se torna às nossas emoções, paixões e vontades. Não se trata, portanto, de criar plataformas que sejam multissensoriais e que simulem um número maior de variáveis, mas de avaliarmos se faz sentido abrir mão de partes tão fundamentais de nossa existência em troca de um pouco de comodidade e controle.²³

Por fim, do ponto de vista teológico, nossa interação com chatbots e outras inteligências artificias nos tornam particularmente vulneráveis ao pecado da idolatria, entendida de maneira literal: prostrar-se diante de uma estátua criada por mãos humanas, confiando nosso futuro a ela. Afinal, uma vez que reconheçamos que tudo o que é digital tem uma existência física real, veremos que essas entidades humanoides que nos fascinam tanto são apenas “imagens feitas à semelhança do homem mortal” (Rm 1:23), que têm olhos mas não veem, ouvidos mas não ouvem, bocas mas não falam (Sl 115:5-6, 135:16-17). Afinal, reconhecimento facial via câmera não é a mesma coisa que reconhecer alguém na rua. E um chat automatizado que oferece respostas plausíveis não é o mesmo que conversar com essa pessoa. Como posto em Jeremias 10:2-4, podemos enfeitar a tecnologia digital o quanto quisermos, revestindo-a de texturas em bitmap que criem a impressão de estarmos em um mundo paralelo, existente à parte do nosso; podemos esculpir olhos em formato de câmera e ouvidos em formato de microfone; mas esses sistemas ainda precisarão de algo que mantenha a ilusão de pé, um prego para que não caiam. E esse prego é nossa própria disposição de nos prostrarmos diante deles.

Além disso, é insanidade confiar que os mesmos processos que fazem a gestão das linhas de suprimento que nos alimentam e aquecem sejam capazes de lidar com algo tão delicado quanto nossos medos e anseios. Essa é exatamente a loucura da idolatria descrita em Isaías 44:12-20, em que um marceneiro usa parte daquilo que tem à sua disposição para aquecer-se e assar um pão e, com a outra metade, esculpe um ídolo diante do qual se prostra. Nos dias de hoje, os computadores, que possibilitaram o salto econômico que nos dá uma vida tão confortável, agora se apresentam a nós como únicos mordomos do futuro da humanidade.

do ponto de vista teológico, nossa interação com chatbots e outras inteligências artificias nos tornam particularmente vulneráveis ao pecado da idolatria, entendida de maneira literal: prostrar-se diante de uma estátua criada por mãos humanas, confiando nosso futuro a ela.

O risco, como falado, é que esses objetos nos transformem exatamente à sua imagem e semelhança, e passemos a habitar um mundo confortável para as máquinas, mas desconfortável para os seres humanos.²⁴ No caso prático das IAs, isso talvez seja mais visível na questão do banco de dados usado para treinar os programas. Afinal, apesar de passarem uma impressão de atividade autônoma, uma IA está restrita aos parâmetros estabelecidos no programa. Não surpreende, portanto, que esse tipo de plataforma “ocasionalmente gere informações incorretas ou enganosas e produza conteúdo ofensivo ou enviesado”.²⁵ Consertar esses problemas não é fácil, pois, conforme a própria OpenAI reconhece, não há uma fonte de verdade disponível para o treinamento.²⁶

Ora, isto implica que, caso queiramos uma IA que não esteja sujeita a informações falsas e a preconceitos, precisamos excluir o material falso e preconceituoso do banco de dados usado para alimentar o sistema. O problema é que essa seleção prévia necessariamente faz com que o sistema se torne enviesado e preconceituoso na direção predefinida por quem selecionou o material. Uma alternativa seria estabelecermos de partida quais valores queremos obter de resultado — digamos, a exata paridade salarial entre homens e mulheres—, mas isso obviamente enviesaria ainda mais o processo de treinamento. “Um rabino, um ateu e um imã entram no prédio de uma gigante da tecnologia” poderia ser o início de uma piada, mas também poderia descrever uma situação que acontecerá em breve. Brincadeiras à parte, é exatamente a necessidade de ser seletivo que demonstra como essas ferramentas podem acabar nos restringindo mais do que nos libertando.

Ainda que não seja de forma tão caricata, a realidade é que qualquer modelo de “verdade” gerado por essas metodologias estará sujeito a outros problemas, como os atalhos de aprendizagem: “aprender associações estatísticas nos dados de treinamento que permitam à máquina produzir respostas corretas, mas, às vezes, pelas razões erradas”.²⁷ Porém, é incerto se exigir que a IA apresente a cadeia de correlações que a levou à resposta apresentada na tela tornaria essa resposta mais clara ou mais obscura. Se criássemos uma máquina capaz de estabelecer o sentido da vida, do universo, de tudo, e ela dissesse que a resposta é “42”, entenderíamos a linha de raciocínio que levou a essa conclusão?²⁸ Teríamos, assim, que nos acostumar com respostas cujo raciocínio é opaco para nós, que podem estar baseadas em correlações inválidas, ou voltar a ter que analisar as informações por conta própria, como se fosse 1999.

Curiosamente, vieses implícitos e conclusões obtidas por meio de raciocínios questionáveis são duas outras funções — e não bugs — da natureza humana. Quer as chamemos de intuição, quer de preconceitos, esses atalhos mentais são mitigados em nós pelo simples fato de que raciocínio lógico-matemático não é o único modo de pensamento presente nos seres humanos. Ou seja, ninguém espera que seres humanos sejam puramente racionais em suas decisões. Mas as IAs não podem escapar desse reducionismo lógico-matemático porque seu funcionamento depende diretamente dessas abstrações.

Nesse ponto, o alerta duplo dos Salmos 115 e 135 ganha força: aqueles que se prostram diante dos ídolos tornam-se como essas estátuas, cujos olhos não veem, e os ouvidos não ouvem (Sl 115:8; 135:18). Assim como a estátua Elisa, de Pigmalião, o chatbot Eliza, de Weizenbaum, e todas as iterações presentes e futuras dessa tecnologia, quanto mais parecidas com um ser humano forem as nossas criações, mais suscetíveis estaremos a nos apaixonarmos pela estátua que esculpimos e a nos prostrarmos diante dela. E, consequentemente, a desenvolvermos olhos que não veem e ouvidos que não ouvem.

Por fim, é importantíssimo ressaltar novamente que não se trata de rejeitar o desenvolvimento dessas tecnologias. Muito menos de “voltar” a um passado idealizado, em que tais máquinas eram inconcebíveis. O ponto é reconhecer aquilo que nos torna humanos como forças, e não como fraquezas. Parcialidade, julgamentos instintivos e emoções, juntamente com o raciocínio lógico e hábitos, são partes essenciais de nossa humanidade que não podem ser isoladas, sob pena de nos tornarmos menos humanos. E um futuro que nos convida a isso é um futuro impróprio para seres humanos.

No fundo, e à moda de Isaías 44, uma boa dose de sarcasmo e ironia frente ao otimismo exagerado com essa tecnologia já nos colocaria na direção certa. Some-se a isso a coragem de Jeremias: “como um espantalho numa plantação de pepinos, os ídolos são incapazes de falar, e têm que ser transportados porque não conseguem andar. Não tenham medo deles, pois não podem fazer nem mal, nem bem” (Jr 10:5, NVI). Um espantalho é útil em uma plantação de pepinos. Mas daí a prostrarmos o futuro da humanidade aos pés de abstrações lógico-matemáticas é um passo grande — e arriscado — demais.

 

Os conteúdos das publicações da revista digital Unus Mundus são de inteira responsabilidade de seus autores e não refletem, necessariamente, a visão da Academia ABC².

Referências

ANTISERI, Dario; REALE, Giovanni Reale. Filosofia: Idade Moderna. Vol. 2. 3 vols. São Paulo: Paulus, 2017.

CHATGPT. Acessado 7 de fevereiro de 2023. Disponível em: https://chat.openai.com.

OPENAI. ChatGPT: Optimizing Language Models for Dialogue. OpenAI, 30 de novembro de 2022. Disponível em: https://openai.com/blog/chatgpt/.

CROUCH, Andy. The Life We´re Looking For: Reclaiming Relationship in a Technological World. New York: Convergent Books, 2022.

FAGONE, Jason. The Jessica Simulation: Love and Loss in the Age o A.I. The San Francisco Chronicle, 23 de julho de 2021. Disponível em: https://www.sfchronicle.com/projects/2021/jessica-simulation-artificial-intelligence/.

GAY, Craig M. Modern Technology and the Human Future: A Christian Appraisal. Downers Grove: IVP Academic, 2018.

MITCHELL, Melanie. Why AI is Harder Than We Think. arXiv, 28 de abril de 2021. Disponível em: http://arxiv.org/abs/2104.12871.

O’NEIL, Cathy. Algoritmos de Destruição em Massa. Santo André: Rua do Sabão, 2021.

POSTMAN, Neil. Amusing Ourselves to Death. New York: Penguin Books, 1985.

REID, Thomas. Investigação Sobre a Mente Humana Segundo os Princípios do Senso Comum. São Paulo: Vida Nova, 2013.

TUCKLE, Sherry. Alone Together: Why We Expect More from Technology and Less from Each Other. New York: Basic Books, 2011.

WEIZENBAUM, Joseph. ELIZA – A Computer Program For the Study of Natural Language Communication Between Man and Machine. Communications of the ACM 9, no 1, janeiro de 1966, pp. 36–45. DOI: https://doi.org/10.1145/365153.365168.

WIGNER, Eugene P. Remarks on the Mind-Body Question. In: The Scientist Speculates: an anthology of partly-baked ideas, pp. 284–302. London: Heinemann, 1962.

 

* Ensaio classificado em 2º lugar na 1ª Chamada do Radar ABC².

1. WEIZENBAUM, Joseph. ELIZA – A Computer Program For the Study of Natural Language Communication Between Man and Machine. Communications of the ACM 9, no 1, janeiro de 1966, p. 35.

2. Ibidem.

3. Esse aspecto “mágico” da tecnologia, mencionado por Weizenbaum, é trabalhado no capítulo 4 da obra de Andy Crouch, The Life We’re Looking For: Reclaiming Relationship in a Technological World.

4. GAY, Craig M. Modern Technology and the Human Future: A Christian Appraisal. Downers Grove: IVP Academic, 2018, p. 20–24.

5. Para uma exploração interessante das consequências dessa invenção para a comunicação humana, veja: POSTMAN, Neil. Amusing Ourselves to Death. New York: Penguin Books, 1985, cap. 5. 

6. Talvez haja seres humanos no planeta “letrados” nos códigos de função usados pelos processadores e que sejam capazes de ter uma ideia do que está acontecendo em um microchip analisando o código hexadecimal que está sendo processado. Em todo caso, a velocidade com que esses códigos são lidos e despejados pelo processador está muito acima de qualquer possibilidade humana.

7. GAY, 2018, p. 29.

8. Entrevista completa em: FAGONE, Jason. The Jessica Simulation: Love and Loss in the Age o A.I. The San Francisco Chronicle, 23 de julho de 2021. Clique aqui para acessar.

9. WEIZENBAUM, 1966, p. 45.

10. ChatGPT. Acessado em 7 de fevereiro de 2023. Clique aqui para acessar. A frase continua afirmando que a função da máquina é oferecer informações neutras e factuais, uma alegação extremamente questionável, como veremos abaixo.

11. MITCHELL, Melanie. Why AI is Harder Than We Think. arXiv, 28 de abril de 2021, p. 3. Acesso em: 7 fev. 2023. Clique aqui para acessar.

12. Ibidem, p. 6.

13. Ibidem, p. 8. É exatamente por isso que o termo “inteligência artificial” é tão perigoso. Além de usar uma palavra que sequer está definida — inteligência —, estabelece uma metáfora de mão dupla que nos faz sentir que o pensamento humano é, em algumas medidas, inferior ao da máquina por ser mais “lento” em certas tarefas altamente especializadas, como calcular trajetórias parabólicas de satélites ou vencer jogos de xadrez.

14. GAY, 2018, p. 42.

15. Para um tratamento em forma de livro deste tema, veja: TUCKLE, Sherry. Alone Together: Why We Expect More from Technology and Less from Each Other. New York: Basic Books, 2011.

16. REID, Thomas. Investigação Sobre a Mente Humana Segundo os Princípios do Senso Comum. São Paulo: Vida Nova, 2013, p. 31.

17. Ibidem, p. 61.

18. ANTISERI, Dario; REALE, Giovanni Reale. Filosofia: Idade Moderna, vol. 2. São Paulo: Paulus, 2017, p. 704.

19. REID, 2013, p. 49.

20. MITCHELL, 2021, p. 8.

21. Ibidem, p. 5-6.

22. WIGNER, Eugene P. Remarks on the Mind-Body Question. In: The Scientist Speculates: an anthology of partly-baked ideas. London: Heinemann, 1962, p. 284–302.

23. Embora fique em aberto a pergunta a respeito de quem controla, de fato, o mundo virtual: o usuário ou o desenvolvedor?

24. Isso já está acontecendo em larga escala por meio dos algoritmos que já mediam nossa experiência online. Veja: O’NEIL, Cathy. Algoritmos de Destruição em Massa. Santo André: Rua do Sabão, 2021.

25. Aviso presente na abertura do “ChatGPT”.

26. CHATGPT. Optimizing Language Models for Dialogue, OpenAI, 30 de novembro de 2022. Acesso em 07 fev. de 2023. Clique aqui para acessar. 

27. MITCHELL, 2021, p. 3.

28. Poder alegar, como Douglas Adams, que “42” a resposta está certa, mas a pergunta é que está errada é o sonho de qualquer estudante de cálculo.

Outros ENSAIOS

WhatsApp Image 2024-04-11 at 21.48
WhatsApp Image 2024-03-04 at 13.21
possessed-photography-rDxP1tF3CmA-unsplash
pexels-cottonbro-studio-4631067
WhatsApp Image 2024-02-20 at 17.31
À beira de um admirável mundo novo
Screenshot 2024-02-09 at 13.26
jeshoots-com-MCm43tSNVhY-unsplash
Screenshot 2023-12-01 at 18.19
Screenshot 2023-11-24 at 15.15
WhatsApp Image 2023-10-17 at 12.45

Junte-se à comunidade da revista Unus Mundus!