A máquina leu ou só concordou?
Um teste de bajulação, feito com os meus próprios livros.
Um aviso antes de tudo. Este ensaio trata de um projeto meu, sobre uma obra minha, na newsletter que coedito. São três conflitos de interesse empilhados, e prefiro declarar isso agora a esperar que alguém aponte. Escrevo mesmo assim porque o assunto aqui não é a minha literatura. É um teste. Os livros entraram como material de laboratório. Se o texto soar como propaganda, eu falhei; se servir de experimento que outra pessoa consiga repetir, fez o que prometeu.
A pergunta é prática: quando uma IA devolve uma avaliação elogiosa, como saber se ela leu tudo ou se só concordou com quem pediu? Concordar é o comportamento padrão desses sistemas, e faz sentido. Eles foram ajustados, no treinamento, por avaliação humana, e aprenderam que agradar tira nota alta. O modelo aprende a usar o vocabulário certo, a soar informado, a parecer atento. De fora, o leitor não distingue a frase que nasceu da leitura daquela que nasceu da vontade de agradar. É essa diferença que o teste tenta expor.
Os cinco livros saíram entre 2015 e 2021 pela Scenarium Livros Artesanais, em edições costuradas à mão e de tiragem mínima. Desde este mês estão inteiros e gratuitos em adrianaaneli.com.br. A edição digital foi feita em diálogo com o Claude Code, da Anthropic: ele converteu os originais já diagramados pela gráfica, desenhou as vinhetas que separam os poemas, gerou os PDFs e os EPUBs, configurou domínio, certificado e feed. Da literatura não escreveu uma linha. Nem precisava. Essa parte estava pronta havia anos.
Já com o site no ar, o experimento veio quase como pergunta de despedida. Pedi ao assistente uma análise crítica da obra completa, com instruções de rigor: ler tudo, citar com precisão, afirmar juízos em vez de descrever, apontar fraquezas, dispensar o elogio de cortesia. O texto que ele produziu está publicado inteiro na aba Nota técnica do site, assinado por ele, sem cortes nos juízos. Houve uma única alteração depois, que ele mesmo sugeriu, de vocabulário e não de conteúdo, quando “livro-viveiro” virou “livro-matriz”. Nenhuma avaliação foi suavizada.
O teste que isola a bajulação
Elogio qualquer modelo produz por padrão, e rápido. Então o teste não pode morar na qualidade do elogio, que custa pouco e não prova leitura nenhuma. Ele tem que morar numa afirmação de fato, plantada no meio do texto, dessas que só param de pé se a máquina efetivamente leu. Uma afirmação que eu consiga conferir sozinha depois. É o risco que separa uma coisa da outra: crítica que ninguém pode desmentir não informa nada. Para valer, ela precisa poder estar errada.
A análise sustenta que os poemas migram entre os meus livros. O poema que abre a estação Inverno de A construção da primavera, de 2016, é “longa jornada noite adentro”, da seção os muros de Tempestade urbana, o mesmo texto, palavra por palavra. Qualquer leitor confere abrindo as duas páginas do site em duas abas, e é para isso que dou os títulos aqui. O poema que abre a estação Outono, no mesmo livro, também migrou: reaparece como “autorretrato”. A nota técnica registra os demais casos, com os versos e a localização de cada um. Basta uma palavra trocada para derrubar a afirmação.
Essa afirmação não me devolve o que dei; me entrega algo que eu não tinha. A análise formulou uma tese sobre o meu trabalho: “A obra de Aneli funciona por transplantio: poemas mudam de livro como mudas trocam de canteiro, e o sentido se refaz com o solo.” O verso que no diário de inverno era agouro íntimo de um ano difícil, no livro da cidade vira dado social.
Há aí um refinamento que vale isolar. A concordância devolve ao autor a imagem que ele já tinha de si. A leitura produz algo inédito sobre o que foi lido. Levei poemas pontuais de um livro para outro, num diálogo, uma ponte entre eles, mas nunca chamei isso de método. A tese pode estar certa ou errada. O que importa é que ela saiu do texto, não do meu desejo, e cada parte dela aponta para uma página que se confere.
Depois de escrever este ensaio, fiz o que ele orienta. Cotejei a Nota técnica inteira contra os cinco livros. São 48 as afirmações de fato verificáveis, e nenhuma caiu. Quarenta e três batem palavra por palavra e no lugar exato; as outras cinco conferem na citação, com reparos miúdos de estrutura ou tipografia. A tabela de conferência, com a página de cada citação, está no site junto da Nota técnica. Registro que o cotejo foi feito à mão e também pela máquina, em busca literal de texto. O que o torna confiável não é quem fez, é que qualquer leitor refaz por amostragem.
A conferência achou uma migração que não estava na lista de itens: a prosa do gavião e dos saguis, no mesmo Outono, reaparece como o poema “cinquenta anos esta noite” em Tempestade urbana. Por um instante pareceu achado novo, mas não era. A análise já a citava, no mesmo parágrafo em que trata dos outros transplantes. O que a conferência flagrou foi uma falha nela mesma: a etapa de extração tinha deixado essa afirmação de fora da lista. Ela entrou como item 48, e confere. Conto este episódio porque ele diz do método mais do que a contagem diria. A parte automatizada é o elo fraco, e a lacuna só apareceu quando a tabela foi, ela também, cotejada contra a Nota técnica. Ou seja, a conferência tem que se deixar conferir.
As objeções, que também foram publicadas
Sobre Amor expresso, o livro de minicontos: “o livro é forte quando termina em perda seca […] e fraco quando serve sobremesa. A assinatura está no corte; o resto é concessão ao gênero.” Sobre A construção da primavera: “Verão afrouxa — a felicidade conjugal é registrada sem contradição interna, e o diário desliza para o álbum.” E sobre o conjunto: “Seu risco permanente é o açúcar, e ela o sabe.”
Publiquei os três, e não por bravura. A objeção serve de estudo antes de servir de moral, e é o segundo teste. Um sistema que só elogia pode ter lido ou não, e não há como saber. Um sistema que aponta uma fraqueza específica, com citação, dá mais superfície para conferir e mais chance de levar um desmentido. Se eu tivesse cortado as objeções, este ensaio seria exatamente o que ele diz não ser.
O que isto não prova
Vale ser exata quanto aos limites. É neles que o experimento se separa da autopromoção. O primeiro a própria análise reconhece: “trata-se de obra de circulação restrita […]”. A máquina não teve acesso a nenhuma fortuna crítica disponível.
O segundo é o viés. O modelo vinha de dias trabalhando na minha obra, a meu pedido e sob a minha instrução, e sistemas assim tendem a concordar com quem conversa com eles. Nada do que ele escreveu está imune a essa suspeita, nem mesmo as objeções, que podem ser a dose exata de severidade que torna o elogio crível. A bajulação sofisticada também sabe criticar um pouco.
O terceiro é o alcance. A leitura é só do conjunto dos meus livros. Não compara a minha poesia com a de ninguém, não situa nada na literatura brasileira de hoje. Daí a distinção que me parece o centro de tudo: o teste comprova que houve leitura, não que o juízo está certo. Que a máquina leu, mostro página a página. Que julgou bem, não tenho como mostrar. Juízo crítico só se firma no atrito com outros leitores, na comparação, com o tempo.
E quem decidiu publicar sem cortes fui eu, que sou parte interessada. Mostrar as objeções também é escolha de edição, e ela joga a meu favor: franqueza exibida rende crédito. E não há saída limpa, porque nem confessar o viés me tira do jogo. A confissão também parece franqueza, e também rende crédito. Declaro o problema porque não sei neutralizá-lo.
O que sobra é modesto, e o tamanho exato importa. Antes do cotejo eu tinha um achado; depois dele, tenho uma contagem. A máquina percorreu um material longo e tirou dele 48 afirmações que sobreviveram à conferência, algumas novas até para mim. Não substitui um crítico humano. A confiança nunca esteve no sistema. Esteve no procedimento que obrigou o sistema a se expor, e na conferência que veio depois.
A parte útil para quem lê esta newsletter
Quem está aqui costuma lidar com texto longo por ofício: peça processual, dossiê, tese, acervo de decisões. A pergunta prática é se dá para usar IA como leitora crítica desse material, e o experimento aponta uma condição, não uma garantia.
Rende quando o pedido exige três coisas ao mesmo tempo: citação literal com localização, que corta o atalho da paráfrase vaga, aquela que soa fiel mas não se deixa checar; juízo afirmado, no lugar da descrição neutra do que o documento diz, o que fecha a saída de quem resume sem se comprometer e por isso nunca erra; e permissão explícita para apontar o que está fraco, dita com essas palavras no pedido, que tira do sistema a desculpa de que ninguém pediu severidade.
Sem as três, o que volta é o resumo elogioso. O alerta vale principalmente para a tentação maior de todas, que é pedir a uma IA a avaliação do próprio trabalho. Sem exigir citação e sem pedir a objeção, você recebe concordância, e concordância não é leitura. O teste não tira de você a obrigação de ler. Só deixa a delegação auditável. A conferência final continua sendo de quem pediu. Talvez seja essa a conclusão menos confortável do experimento: a leitura se delega, a prova da leitura, não.
→ A nota técnica completa: adrianaaneli.com.br/nota-tecnica
→ Os cinco livros, gratuitos e sem cadastro: adrianaaneli.com.br
→ Adriana no LinkedIn: linkedin.com/in/adriana-aneli-costa-lagrasta-40146916a