Quando a IA nos faz acreditar que o errado é certo

Lembras-te da última vez que perguntaste algo a um ChatGPT ou Claude e simplesmente aceitaste a resposta sem questionar? Eu sei que sim, porque faço o mesmo. Para mim foi há dias: pedi ao GPT para resumir um artigo técnico sobre rate limiting em APIs. Li o resumo, acenei com a cabeça, fui embora convencido que percebia o assunto. Mais tarde, a reler o original, percebi que o resumo tinha invertido o sentido de um parágrafo inteiro.

Não é um acaso pessoal. Um estudo recente (uma preprint no PsyArXiv, com Valerio Capraro, da Universidade de Milano-Bicocca) mostra que este padrão é sistemático e mensurável. Há um senão importante: os investigadores escolheram de propósito um chatbot que costuma falhar nas perguntas (detalhes visuais de filmes), para que a queda não pudesse ser atribuída a uma delegação razoável num bom assistente. É uma tarefa de nicho, com um modelo fraco, e não prova que o mesmo aconteça com os melhores modelos em tarefas normais.

Os números são claros: a precisão caiu para um terço com IA (27% para 9%). A confiança mais que duplicou (30% para 76%). A vontade de admitir ignorância colapsou de 44% para 3%.

O dado mais perturbador é o aumento da confiança, mais do que a queda na precisão. Uma pessoa que erra mas duvida ainda pode corrigir-se. Uma pessoa que erra com confiança simplesmente não volta atrás. O erro fica consolidado e repetido.

Uso IA todos os dias e é uma ferramenta útil. Mas o formato — uma resposta instantânea, assertiva, sem hesitação — está a moldar a nossa relação com o conhecimento. Os modelos são desenhados para responder, nunca para dizer "não sei". E quem está a aprender com eles somos nós.