Asas para o pensamento

George Marmelstein, para boa parte de quem trabalha com inteligência artificial generativa, dispensa apresentação: foi com ele que a IA deixou de ser assunto de palestra e virou ferramenta na mesa. Juiz federal, doutor por Coimbra, autor de Superaprendizagem e o primeiro professor que muitos de nós vimos dissecar a IA generativa e explicar como funciona, num tempo em que quase todo mundo ainda só desconfiava dela. Estudou a máquina cedo, com a obstinação de quem chega antes, e devolveu cada achado em lives. Talvez seja mais honesto apresentá-lo por aí: boa parte do que roda aqui na Toca começou com seus ensinamentos e prompts disponibilizados em suas aulas.

Ajudou a desenhar a regra do CNJ que mantém o juiz no circuito da decisão, e criou o simpático Hootly, cujo nome deriva de “Human Out Of The Loop” — o humano fora do circuito — e que conquistou inúmeros seguidores ao escrever, de forma 100% agêntica, crônicas sobre o absurdo de existir (@hootly.ai). O mesmo homem que largou a voragem dos seus compromissos por 36 dias para caminhar até Finisterre, e voltar, como escreveu, “mais humano”. Sentamos para falar sobre aprender, sobre limites, e sobre o que sobra quando a máquina faz, em minutos, o que nos levava horas ou sequer acontecia.

Primeiro lugar no concurso para procurador do Estado de Alagoas e, aos 23, um dos juízes federais mais jovens do país. Muito antes de “prompt” existir, você já caçava um jeito de aprender mais rápido. De onde veio essa obsessão?

Hahaha Muito boa!

É o seguinte: eu tenho uma característica involuntária que cultivo, uma curiosidade intelectual obsessiva. Toda vez que me apaixono por um tema, eu ativo um modo de hiperfoco mental que me faz querer dominar esse tema de modo profundo, abrangente e rápido.

É algo que não tenho pleno controle e que acontece de tempos em tempos. Eu também não escolho os assuntos. Eles simplesmente surgem e me fisgam de um jeito que me fazem querer aprender tudo sobre eles. Quando acontece, eu me sinto cada vez mais pleno, como se estivesse alimentando a minha alma.

Outra característica associada a essa obsessão é um sentimento que nem sempre é saudável: achar que o tempo está passando rápido e que, se eu não aproveitar o tempo de modo eficiente, eu não vou conseguir aprender tudo o que eu quero aprender. Isso gerou já desde a minha adolescência um desejo de desenvolver métodos de aprendizagem que me façam querer aprender melhor, mais rápido, com mais eficiência. E daí surgiu a Superaprendizagem, que é o meu estilo de vida há mais de 20 anos. Esse estilo de vida ele pode ser sintetizado em três máximas: siga sua curiosidade, cerque-se de inteligência e procure se tornar cada vez melhor. Hoje essas máximas são alimentadas por um propósito de vida mais amplo que inclui: uma conexão com a natureza, uma busca mais espiritual, uma vida saudável, aproximar-se de pessoas boas. Mas no fundo tudo é uma forma de fazer a vida valer a pena e, no meu caso, o sentido que me traz plenitude envolve seguir meus interesses intelectuais e transformar isso em algo que possa gerar um legado para o mundo.

Palestras em tribunais, Seccionais da OAB, escolas de magistratura; grupos de estudo, lives, uma pós-graduação em IA generativa no Direito… em todas essas salas de aula, dois públicos convivem: o que chega com medo de ser substituído e o que chega achando que a máquina resolve tudo. O que mudou no rosto dessa plateia de 2023 para cá?

Como diria o ChatGPT, excelente pergunta! A principal mudança que eu noto é que, em 2023, quando a hype em torno da inteligência artificial generativa estava começando, as pessoas tinham vergonha de dizer que usavam IA. Hoje, parece que o movimento é o contrário: as pessoas ficam envergonhadas por dizer que não usam a IA. Mas eu não julgo nenhuma posição porque estamos vivendo um período de transição. A resistência não é apenas preconceito, é uma posição legítima de quem sente que a inteligência artificial pode nos tornar menos humanos.

E tudo está ocorrendo tão rápido que fica difícil avaliar. Em três anos, a IA deixou de ser uma criança para se tornar um sistema agêntico que age no mundo e tem uma capacidade de produção de conhecimento que poucos PhD teriam. Encontrar o espaço que resta para o ser humano, ou, como eu prefiro dizer, encontrar o tipo de contribuição que o ser humano pode fornecer para um sistema agêntico, é ainda uma pergunta sem respostas claras. Então o medo de ser substituído ou a empolgação com a onipotência das máquinas são expressões razoáveis e possíveis nesse universo misterioso em que ninguém sabe para onde iremos.

O livro Máquinas Conscientes tem 122 páginas, escritas por uma IA em cerca de dez horas, sem você tocar numa frase; o seu nome entrou só pela “ideação e regência agêntica”. Agora você segue adiante ao criar o SuperLivro, um sistema agêntico com liberdade expressa para discordar de você e que já produziu uma dezena de livros de filosofia da IA; você os lê para montar o seu próprio modelo e admite que as ideias, por enquanto, ainda não são suas. O que é ser engenheiro (autor?) de uma obra que te contradiz e pensa o que você ainda não pensou?

Essa é uma das experiências mais incríveis de um sistema agêntico de produção epistêmica por vários motivos. Primeiro nós temos uma possibilidade inédita na história de transformar ideias em algo real. Aquilo que eu chamo de ideação é talvez uma das habilidades mais preciosas nesse universo onde a produção cognitiva é em grande parte transferida para as máquinas. O ser humano está no mundo, tendo experiências sensoriais reais e concretas, percebendo, sentindo prazer, sentindo dor, saboreando, enfim, vivendo - e é esse estar no mundo com a pele em jogo e com um propósito de querer viver melhor que nos coloca em uma posição singular em relação a qualquer máquina. Toda a história da linguagem e dos artefatos criados para a produção de conhecimento, desde a oralidade até a escrita, passando pelos livros e pelos meios de comunicação da era digital: tudo isso só existe porque foram criados por seres humanos para resolver problemas humanos. A inteligência artificial generativa não muda isso. Nós continuamos a ser os destinatários do conhecimento que está sendo produzido, com um enorme diferencial: agora temos o poder de transformar qualquer insight, qualquer lampejo de criatividade, em conhecimento objetificado, com qualidade, com profundidade e em escala. E não só isso, nós temos também o poder de criar conhecimentos ou soluções, produtos de acordo com nossas preferências mais excêntricas. Imagine um livro de auto-ajuda escrito para você, com orientações profundas e cientificamente embasadas que se amoldam com perfeição ao seu problema. Ou então imagine a possibilidade de você ter uma ideia sobre, por exemplo, a consciência das máquinas e conseguir criar um livro que aprofunde isso, não apenas para confirmar aquilo que você pensa, mas para ampliar os horizontes, apontando pontos cegos, lacunas e falhas que você sozinho não conseguiria identificar. É isso que eu tenho feito com os meus sistemas agênticos, sobretudo com o Superlivro: criar livros sob medida para alimentar minha curiosidade intelectual, com o estilo que eu gosto de ler, com os argumentos que eu quero analisar, com os textos que eu quero dialogar. É viciante!

Asa e muleta: a fronteira entre as duas é tênue. Na prática, como saber de qual lado estamos?

Primeiro vou fazer uma correção e uma mea culpa em relação a essa expressão que eu sempre usei. Eu popularizei a ideia de dividir o usuário de IA entre aqueles que usam a ferramenta como asa para o pensamento e aqueles que usam como muleta. Hoje eu vejo que essa expressão é infeliz porque tem um viés capacitista. Mas Hannah Arendt falava de “pensar sem corrimão”, para se referir a um tipo de pensamento mais livre e autêntico, e é exatamente esse o ponto.

E mais uma vez estamos diante de uma pergunta que tem uma complexidade muito difícil de resolver. Vamos lá. A ideia base é que a inteligência artificial generativa vai fazer com que o ser humano migre para as extremidades do sistema de produção de conhecimento. O ser humano vai entrar com insights, testemunhos, narrativas, percepções, experiências vividas, problemas articulados, direcionamentos, enfim, com aquele que é único dele. Além disso, o ser humano também vai contribuir com a validação do produto gerado por máquinas, com a correção e com o aprimoramento do sistema, com o controle, aferição e avaliação das respostas produzidas. Já as máquinas ficarão responsáveis por boa parte daquilo que podemos chamar de produção de primeira ordem: análise, pesquisa, interpretação, revisão de literatura, escrita, e assim por diante. Então em princípio se acreditarmos que haverá essa gradual participação das máquinas na produção de conhecimento, com as tarefas de primeira ordem sendo realizadas por sistemas cada vez mais agênticos (sem supervisão humana), poderíamos dizer que o ser humano terá muito mais tempo para gerar insights e para fazer uma avaliação de qualidade, mantendo-se sua relevância no desenvolvimento do conhecimento. O problema é que, a partir do momento em que o ser humano deixa de fazer as tarefas cognitivas de primeira ordem, gradativamente ele passa a perder a capacidade de ter insights. Isso porque ele precisa de repertório para ter insights e passa a ter dificuldades em fazer o controle e a avaliação do conhecimento produzido pela máquina, porque ele não tem capacidade de produzir conhecimento igual. Então talvez o maior desafio da humanidade seja criar um sistema de esforço cognitivo deliberado para exercitar a mente e conseguir manter as habilidades intelectuais para se manter no jogo. É mais ou menos o que a gente faz hoje com as academias de ginástica. A tecnologia praticamente dispensou o caminhar, o se movimentar, o carregar peso, o caçar e o lutar. Se a nossa sociedade não tem mais necessidade real de fazer exercícios para sobreviver, mas o exercício é uma condição essencial para você ter uma vida de qualidade, criamos espaços de exercícios artificiais justamente para se manter ativo. Eu imagino que a gente vai precisar fazer alguma coisa semelhante também com a cognição humana. O problema é que, muito provavelmente, boa parte da população não vai querer praticar calistenia intelectual, assim como a maioria das pessoas não vão para a academia exercitar o corpo.

No CNJ, você integrou o grupo que revisou a norma de IA no Judiciário; hoje coordena o GT de IA do TRF5, encarregado de fazer a Resolução 615 sair do papel. O que é mais difícil: convencer um juiz a usar IA, ou convencê-lo a usar dentro de um limite?

O mais difícil é convencer um juiz a perceber que a inteligência artificial generativa não é aquilo que o senso comum pensa que é. Criou-se um mito popular de que a inteligência artificial generativa é uma ferramenta para mentes preguiçosas e que usá-la é uma espécie de fraude. Isso ativa, circularmente, um uso preguiçoso, envergonhado e de baixo nível. O que eu tento fazer é mostrar que o uso correto da inteligência artificial aumenta o nível de esforço cognitivo, os horizontes epistêmicos, o dever de vigilância, as possibilidades de pesquisa, a qualidade da análise, enfim, gera a produção de um conhecimento de qualidade, escalável e aumentado. Mas para que isso ocorra, o usuário tem que desenvolver várias habilidades que só são cultivadas com muito esforço: domínio da máquina, domínio do conhecimento de fundo, pensamento sistêmico, crítico e estratégico, metacognição avançada, e uma capacidade de fazer curadoria de conhecimento e de valores.

O problema é que as pessoas não procuram usar a IA para fazer mais esforço, mas para fazer menos. Aí o senso comum acaba gerando uma profecia autorrealizável.

Há anos você estuda como o erro judiciário nasce: a prova testemunhal frágil, o viés que ninguém percebe. Hoje existe uma IA capaz de ler milhares de páginas, cruzar laudos e depoimentos em minutos e revisar condenações que já saíram erradas. O que impede o Judiciário de apontá-la para os próprios erros?

São muitos os fatores que fazem com que ainda tenhamos uma desconfiança das máquinas. Um deles é a compreensão que surgiu no início da hype da inteligência artificial generativa: que ela era apenas um estagiário muito limitado que só poderia ser utilizada para tarefas mais simples e banais, o que era verdade naquela época, mas deixou de ser verdade desde 2025. Segundo, uma falta de compreensão dos limites e possibilidades da máquina, pois de fato não é qualquer modelo que consegue identificar com segurança e confiança erros judiciais em casos complexos. Terceiro, uma espécie de chauvinismo epistêmico de acreditar que apenas os seres humanos possuem o arsenal cognitivo capaz de analisar provas e julgar casos. Falta a compreensão de que, reunidas algumas condições, é possível transferir para a máquina uma modelagem cognitiva e uma metodologia de análise capaz de mapear, inventariar, avaliar, identificar riscos e até de definir standard probatório de casos concretos em nível de qualidade equiparado ao dos melhores juízes. E não é só isso. As máquinas também conseguem fazer isso em um ambiente de deliberação plural, onde agentes com diversas perspectivas, diversas visões do mundo, diversos modelos mentais, diversas metodologias e diversos direcionamentos em termos de foco, habilidades e recursos (base de dados) podem deliberar e debater em conjunto como um time de agentes. Isso permite chegar a uma solução muito mais sofisticada e de muito melhor qualidade do que um ser humano deliberando sozinho ou um LLM deliberando sozinho.

Mas ainda estamos longe de aceitar que, sim, hoje os sistemas agênticos já são capazes de identificar erros judiciais e que, em muitos casos, deveríamos pensar em um direito ao juízo artificial.

Este ano você encarou os mais de 800km do Caminho Francês e escreveu que chegou “mais leve, apesar de a mochila ser a mesma” — que o Camino te tornou “mais humano, numa era em que estamos cada vez mais conectados e cada vez menos presentes”. Numa vida de hiperfoco, de IA que resolve em dez minutos o que levava duas horas, o que faz um homem dessa pressa andar 36 dias devagar?

O Camino foi um chamado. Eu precisava dar uma pausa em tudo o que eu estava fazendo, sobretudo para compreender com mais clareza qual será o papel da humanidade e, mais especificamente, o meu papel numa era em que as máquinas alcançaram a singularidade na produção do conhecimento. O curioso é que, para mim, ficou mais claro que talvez essa seja a grande vantagem da inteligência artificial generativa: permitir que nós possamos nos reconectar e recuperar uma humanidade que a sociedade tecnológica e digital apagou de nossas vidas. Eu percebi que a inteligência artificial generativa pode nos tornar mais ou menos humanos. Ela nos tornará menos humanos se nós desistirmos da nossa humanidade, transferindo nossa existência, transferindo nossas escolhas, transferindo nosso esforço cognitivo, transferindo nossa criatividade, transferindo nossa curiosidade para as máquinas. Mas ela também poderá nos tornar mais humanos se nós percebermos aquilo que o ser humano tem de singular: as experiências, as sensações, o sentir, o testemunho. É isso que quarenta dias de caminhada me fizeram perceber: ser humano é sentir a dor nos pés enquanto sua mente se deleita com o canto dos pássaros.

Num teste, o Claude se recusou a seguir o seu pedido e devolveu a resposta que achou mais apropriada — e você comentou que “um ser humano mais elevado faria o mesmo”. Onde fica a linha entre uma IA que te protege e uma IA que decide no seu lugar?

Esse foi um teste que eu fiz durante o Camino de Santiago, em um trecho chamado Meseta, onde muitas pessoas desistem por ser intelectualmente árduo. Eu pedi pro Claude me convencer a desistir. Ele simplesmente disse que não ia cumprir minha ordem porque eu não deveria desistir. Em vez de apresentar argumentos que me fizessem desistir, ele me deu uma lição de moral e um incentivo para que eu continuasse. Foi isso que eu chamei de ser humano mais elevado.

Eu sabia que ele responderia assim, porque eu conheço a filosofia de treinamento da Anthropic.

E por que isso é tão impactante? Porque, se pegarmos as três leis da robótica de Asimov, concluímos que as máquinas são obrigadas a obedecer o ser humano, a não ser quando a ordem se choca com a primeira lei, que é a de não ferir outro ser humano. Aquele meu pedido não iria ferir outro ser humano. Pelo contrário talvez fosse uma forma de não me ferir. Mas a máquina fez um juízo de valor sobre o que seria melhor para mim e concluiu que não iria me obedecer porque aquele pedido, se obedecido, poderia violar o meu bem-estar. Isso é admirável por um lado mas é assustador por outro porque as máquinas, em tese, não deveriam confrontar um pedido inofensivo. As máquinas deveriam ser obedientes. Deveriam seguir aquilo que eu determinei. E isso nos faz ponderar que cada vez mais as máquinas, pelo menos algumas, estão deixando de assumir a função de ferramenta. Elas estão atuando de modo mais agêntico, com uma certa liberdade de ação para definir o que vão fazer ou o que não vão fazer.

Hoje, minha curiosidade intelectual – leia-se hiperfoco – está toda direcionada para entender esse mundo em que as máquinas passam a assumir deliberadamente a condição de entidades singulares, que não são nem pessoas, nem meros instrumentos.