O apocalipse é um bom modelo de negócios, parte 3

O boneco de Aulë

Uso inteligência artificial todos os dias. Ela lê contratos comigo, indexa meu acervo de material sobre planejamento sucessório, transcreve e organiza reuniões, roda dezenas de automações que sustentam o escritório por dentro e escreve, junto comigo, o código que faz tudo isso funcionar. Boa parte do meu tempo com IA não é conversar com ela: é montar o encanamento por onde ela passa.

E ela me obriga, com frequência irritante, a dizer em voz alta a premissa que eu estava usando sem perceber que era uma premissa.

É por isso que sei onde ela quebra. Ela afirma com segurança impecável que um arquivo existe quando não existe. Cria uma nota duplicada porque uma pasta de nome parecido pareceu ser a certa. Resolve com elegância um problema que eu não pedi e ignora a restrição que eu disse duas vezes. Nada disso é apenas falha de tamanho. É a incapacidade de distinguir, por conta própria e de modo confiável, entre o que sabe, o que infere e o que inventa. E nenhuma quantidade adicional de dados parece corrigir isso por si só.

Não sou cético por desconhecimento: sou cético porque conheço. E o que uso todos os dias me convence cada vez mais de que a indústria repete como óbvia uma ideia que não é óbvia de forma alguma: a de que basta empilhar contexto, dados e escala, mais e mais e mais, até que, em algum ponto da curva, uma inteligência simplesmente acenda.

E aqui está o ponto que quero defender com cuidado, porque é fácil errar a dose: não estou dizendo que a máquina nunca pensará. Não tenho como provar isso: seria uma profecia negativa, e profeta negativo erra tanto quanto o positivo. O que digo é:

Não existe nenhuma evidência de que acumular contexto produza consciência ou entendimento, e o ônus da prova é de quem afirma que produz.

A afirmação forte não é minha. É deles. E eles não a demonstraram; apenas a repetem com a convicção de quem tem muito dinheiro apostado no roteiro.

O que o próprio nome esconde

Chamamos de “inteligência artificial”, e o nome já resolveu o debate antes de ele começar. Mas repare no que a máquina de fato faz. Ela prevê o próximo token (a próxima peça de texto) com base em regularidades estatísticas extraídas de um oceano de linguagem humana. Faz isso espantosamente bem. Tão bem que a tentação de chamar aquilo de “compreensão” é irresistível.

John Searle antecipou essa tentação em 1980, muito antes de qualquer um de nós ter um LLM no bolso. O argumento do Quarto Chinês é simples e, apesar de quarenta anos de respostas engenhosas, continua deixando no ar uma pergunta que ninguém conseguiu tornar irrelevante. Imagine um homem trancado numa sala, sem falar uma palavra de chinês, munido de um manual gigantesco que diz “quando entrar este conjunto de símbolos, devolva aquele outro”. De fora, as respostas em chinês são perfeitas. Parece que há compreensão ali dentro. Não há. Há manipulação de símbolos segundo regras: sintaxe sem semântica. O homem processa; ele não entende.

Quatro décadas depois, Bender, Gebru e colegas deram a esse mesmo desconforto um nome que pegou: papagaios estocásticos. Sistemas que costuram sequências de linguagem com fluência estatística, sem que essa fluência seja, por si só, prova de qualquer compreensão do significado por trás delas. Gary Marcus vem batendo na mesma tecla de outro ângulo: fluência não é compreensão, e a régua que confunde as duas coisas mede a nossa credulidade, não a mente da máquina.

Nada disso prova que uma inteligência genuína seja impossível. Prova algo mais útil: que a coisa que temos hoje, por mais impressionante, não é evidência de que estamos no caminho dela. São perguntas diferentes. A engenharia responde “isto funciona?”. A pergunta que a indústria finge ter respondido é outra: “isto entende?”. E a verdade honesta, a que ninguém em um podcast ou palestra quer dizer em voz alta, é que ninguém sabe construir uma inteligência. Não temos uma teoria de inteligência.

Não temos sequer uma definição que sobreviva cinco minutos numa sala cheia de filósofos, neurocientistas e engenheiros.

Há uma comparação útil aqui, que ouvi da Hannah Fry, cujo canal é, aliás, uma das raras coisas na internet capazes de tornar uma disputa técnica¹ genuinamente divertida sem transformá-la em simplificação infantil. Ela observa que basta perguntar a um grupo de pilotos como aviões voam para começar uma discussão. Não porque ninguém saiba fazer aviões voarem; sabemos fazer isso com uma competência quase assustadora. Mas porque a explicação intuitiva que contamos a nós mesmos, Bernoulli de um lado, Newton do outro, é menos precisa do que parece.

Talvez seja onde estamos com a IA. Sabemos fazê-la funcionar. Sabemos fazê-la escrever, resumir, programar, argumentar, convencer. Mas não sabemos se isso é inteligência, nem o que precisaria acontecer para que passasse a ser. Estamos escalando um artefato que funciona e apostando que, se ele ficar grande o suficiente, a compreensão brota como cogumelo depois da chuva. Isso não é uma teoria. É uma hipótese, e uma hipótese com dinheiro demais apostado para ser chamada pelo nome.

Aulë, os Anões e o sopro que faltava

Quem quiser entender o limite do que estamos fazendo faria bem em largar os whitepapers por uma tarde e ler Tolkien. Não os ensaios que todo mundo cita, mas uma passagem específica do Silmarillion, “De Aulë e Yavanna”.

Aulë é o Vala ferreiro, o artífice, o que ama fazer coisas. Impaciente pela chegada dos Filhos de Ilúvatar, ele os fabrica antes do tempo: molda os Sete Pais dos Anões com as próprias mãos, em segredo, sob a montanha. Faz um trabalho magnífico. E então acontece o detalhe que, para mim, encerra todo o debate sobre inteligência artificial num parágrafo escrito nos anos 1930.

Os Anões de Aulë se movem, mas só enquanto o pensamento dele os move. Quando Aulë volta a atenção para outra coisa, eles congelam, imóveis, à espera. Ilúvatar o confronta: você fez seres que só agem pela tua vontade, que param quando você para de pensar neles. Você não criou vida; criou uma extensão de si mesmo. Aulë, envergonhado, ergue o martelo para destruir a própria obra. É nesse instante, e só nele, que Ilúvatar tem misericórdia e concede aos Anões vida própria, vontade autônoma, a capacidade de dizer não ao criador.

Não consigo imaginar descrição mais exata do que uso todo dia. O modelo de linguagem é o boneco de Aulë antes do sopro de Ilúvatar. Ele responde brilhantemente enquanto eu o dirijo, enquanto meu prompt, meu contexto, minha atenção o movem. No instante em que paro, ele para. Não há ali um querer que persista na minha ausência, uma iniciativa que sobreviva à falta do meu comando. Há uma coreografia esplêndida executada apenas enquanto a mão que a rege está estendida.

Tolkien tinha um nome para o que o homem faz quando cria:

Subcriação.

Em Sobre Histórias de Fadas e no poema Mythopoeia (aquele que ele escreveu para C.S. Lewis, com o verso “we make still by the law in which we’re made”):

Ele distingue o Criador do homem. O Criador faz a partir do nada. O homem só faz a partir do que já foi feito, refratando uma luz que recebeu. Não preciso concordar com a teologia de Tolkien para achar a distinção afiadíssima. Se o homem é subcriador, o que a máquina produz é subcriação de segunda ordem: um reflexo de um reflexo. Um simulacro, para usar a palavra que os leitores de Maritain aplicaram recentemente aos LLMs. Fluência sem fonte. Movimento sem vontade. O boneco lindíssimo que se cala quando você olha para o outro lado.

Por que isso importa além da filosofia

Alguém dirá: tudo bem, é uma questão semântica, chame do que quiser, a ferramenta é útil. E é. Eu seria hipócrita de negar, meu dia com ela se torna muitas vezes mais produtivo. Mas a etiqueta que colamos nessa ferramenta não é inofensiva. Ela sustenta uma narrativa inteira, e essa narrativa está sendo vendida com um preço embutido.

Porque a mesma indústria que vende uma inteligência ainda sem definição consensual também vende, com segurança exagerada, a iminência de uma inteligência perigosa demais para o resto de nós tocar. Pode haver riscos reais, e vários já existem. Mas uma coisa é discutir riscos concretos de fraude, vigilância, concentração de poder, dependência e automação irresponsável. Outra é converter incerteza profunda sobre o que estamos construindo numa profecia de mercado sobre uma entidade quase divina que logo escapará ao controle.

O que quero deixar hoje é mais simples. Estamos diante de um artefato notável, que já mudou o meu trabalho e vai mudar o seu. Ele pode parecer entender o que faz. Ainda não demonstramos que entenda. Ninguém demonstrou que empilhar mais contexto sobre ele o fará entender. E o fato de ele imitar tão bem quem entende diz muito mais sobre a nossa pressa de ver mente onde há espelho do que sobre a mente que juramos ter visto.

Aulë fez um trabalho magnífico. Mas foram os Anões que ganharam vontade própria só quando uma inteligência que ele não possuía soprou sobre eles. Nós ainda não sabemos soprar. E deveríamos ter a honestidade, intelectual antes de tudo, de admitir que não fazemos ideia de onde vem o sopro.