Você não vai descobrir pelo texto. A convicção da IA é constante: o tom da resposta certa e o da resposta inventada são exatamente o mesmo, porque não existe um medidor de certeza sendo exibido junto. Saber se ela está inventando não é ler melhor a resposta. É mudar o que ela tinha para ler antes de responder, e conferir o que dá para conferir.
Isso muda o trabalho de lugar. Em vez de tentar farejar a mentira pelo estilo, que não funciona, você passa a exigir lastro: a fonte dentro da conversa, a citação que abre de verdade, e a separação entre buscar e responder. É por isso, também, que escrever “não invente” no prompt resolve tão pouco. O problema nunca esteve na instrução.
Leve o mapa mental desta aula com você
O vídeo tem um apoio visual desenhado à mão, o mesmo que aparece na abertura e no fecho da aula. Está disponível pra download em Excalidraw, e abre arrastando o arquivo pra dentro do excalidraw.com, de graça, sem instalar nada.
O contexto, em três linhas
Sou engenheiro de software sênior e passei os últimos anos colocando modelos de linguagem em produção, em sistema que outras pessoas usam.
A pergunta que abre este texto aparece sempre depois de um susto: alguém confiou numa resposta, levou adiante, e descobriu que o dado não existia. Quase sempre a conclusão vem embrulhada em julgamento. A ferramenta mentiu, o modelo é fraco, a IA não presta. O mecanismo é outro, e ele também explica por que o susto se repete.
Ela não mentiu, e a diferença não é filosofia
Mentir exige duas coisas: saber a verdade e escolher dizer outra coisa. Ela não tinha nem a primeira. Não havia intenção de enganar, havia ausência de informação, e ausência de informação não faz o modelo parar. Faz ele completar.
Essa é a peça que quase todo mundo pula. Completar é o que ela faz o tempo inteiro, em toda resposta, inclusive nas certas. Quando o que falta é pequeno, o preenchimento passa despercebido e a resposta acerta. Quando o que falta é o fato central, o preenchimento vira invenção com cara de fato. É o mesmo mecanismo nos dois casos, e é por isso que ele não some com uma configuração.
Esse fenômeno tem nome: alucinação. O nome é infeliz, porque sugere um estado alterado, algo fora do normal. É o oposto disso. É o funcionamento normal encontrando um buraco e fazendo com o buraco exatamente o que faz com o resto.
O tom nunca varia, e é por isso que o erro passa
Aqui está o que torna isso caro. A convicção do texto é constante. Ela não sobe quando o modelo tem base e não cai quando não tem. Você recebe a mesma frase firme, a mesma organização, a mesma ausência de hesitação. É o aluno que nunca diz não sei: responde tudo com o mesmo aprumo, e você não consegue separar o que ele estudou do que ele deduziu na hora.
Então o jeito dela falar não serve de sinal. Nem a fluidez, nem o detalhe, nem a estrutura. Aliás, o detalhe engana mais do que ajuda: referência inventada costuma vir completa, com autor, título, ano e um link que parece plausível. Ela não estava sendo vaga. Estava completando os campos que uma referência costuma ter.
O tom dela nunca é sinal de nada. O que é sinal é o que ela tinha para ler.
Por que ela prefere chutar a dizer não sei
Essa é a parte que raramente aparece nas explicações, e é a que mais muda o que você espera do futuro. Uma pesquisa publicada em 2025 por pesquisadores da OpenAI, junto com Georgia Tech, reformula a alucinação como consequência estatística do treino e, principalmente, da forma como esses sistemas são avaliados.
O argumento é direto. A maior parte das avaliações dá ponto por acerto e nada por abstenção. Um modelo que responde não sei recebe zero. Um modelo que chuta tem alguma chance de acertar e nenhuma penalidade adicional por errar. Se você otimiza para essa pontuação, o comportamento que vence é sempre responder. É prova de múltipla escolha sem desconto por erro, e todo estudante aprende rápido que deixar em branco é a única resposta garantidamente errada.
A consequência prática, para quem usa, é dura e útil ao mesmo tempo: não espere que o próximo modelo resolva isso sozinho. Enquanto o placar premiar o chute, a pressão evolutiva continua apontando para o lado errado. Os autores propõem justamente mudar o placar, penalizando o erro confiante e dando crédito à incerteza declarada. É uma correção de incentivo, não de tamanho.
Escrever não invente age quase nada
A reação natural é tentar resolver por instrução. Você acrescenta “não invente”, “só responda se tiver certeza”, “não crie informação”. Ajuda um pouco, na margem, e é ótimo que ajude. Mas trata o sintoma pelo lado errado da corda.
A instrução é mais um texto entre os textos que ela lê. Ela não abre um canal de verificação, não consulta nada e não muda o que está disponível na hora de responder. Se o fato não está ali, a instrução não faz ele aparecer. No máximo aumenta a chance de a resposta vir com uma ressalva, o que é diferente de vir correta.
O controle real está uma camada antes: no material. Trocar a pergunta muda pouco. Trocar o que ela está lendo muda tudo.
O que muda quando a fonte está na conversa
Faça o teste você mesmo, porque ele é curto e não deixa dúvida. Pergunte um dado obscuro e específico, do tipo que dificilmente estaria bem representado no treino. Guarde a resposta. Agora cole o trecho da fonte real na conversa e faça exatamente a mesma pergunta, sem mudar uma vírgula do pedido.
A qualidade da resposta muda de patamar, e você não mudou a pergunta. Mudou o que ela estava lendo. Vale lembrar que esse material colado divide o espaço onde a conversa cabe com o histórico inteiro, então colar o trecho certo rende mais do que despejar o documento completo.
É a mesma ideia que sustenta os sistemas sérios que respondem sobre documentos: eles não confiam na memória do modelo, eles buscam o texto e entregam junto com a pergunta. Você pode fazer a versão manual disso hoje, sem montar nada.
As quatro checagens que eu faço antes de confiar
Na ordem em que eu aplico, da mais barata para a mais cara.
- Coloque a fonte dentro da conversa, em vez de esperar que ela saiba. Se o assunto tem um documento, um artigo ou um trecho de código que decide a resposta, ele sobe junto com a pergunta. A maior parte da invenção acontece exatamente no vão entre o que você perguntou e o que ela tinha.
- Peça a citação e abra o link. Não peça só a fonte, abra. Fonte que não abre é fonte inventada, e esse é o teste mais rápido que existe. Referência plausível com link morto é o padrão da invenção, não a exceção.
- Separe buscar de responder, em dois passos. Primeiro peça o levantamento do material, com os trechos. Depois, numa segunda rodada, peça a resposta usando só aquilo. Quando os dois viram um passo só, você perde o ponto em que dá para conferir.
- Pergunte de novo, do zero, numa conversa nova. Esta é a mais subestimada. Como ela responde diferente para a mesma pergunta, o detalhe que tem lastro tende a se repetir e o detalhe inventado tende a mudar. Nome, número e data que dançam entre duas execuções independentes são o sinal mais confiável que você consegue de graça.
Nenhuma das quatro elimina o problema, e é importante dizer isso com todas as letras. Reduzir não é eliminar. Quem promete zerar alucinação está vendendo alguma coisa. O que muda é o tanto que sobra para você pegar, e o tanto que sobra depois de quatro checagens é bem menor do que o tanto que sobra depois de um prompt caprichado.
Onde tudo isso fica registrado
Escrevo tudo o que aprendo aqui neste blog, que roda num plano de quatro anos da Hostinger, que eu recomendo.
O vídeo lá em cima é a aula sobre alucinação de um curso gratuito de fundamentos de inteligência artificial, com aulas curtas e um conceito por vez. A invenção que este texto ensina a detectar é consequência direta do jeito como ela produz texto, e o curso segue mostrando que o mesmo mecanismo aparece quando o que entra e o que sai não é palavra.
O que eu faria diferente se começasse hoje
Eu pararia de gastar prompt pedindo honestidade e passaria esse esforço para o material. Eu abriria todo link citado antes de repassar qualquer coisa para outra pessoa. E eu trataria “ela inventou” como diagnóstico de contexto faltando, não como julgamento de caráter de uma ferramenta.
No fundo esse nem é um assunto de IA. É o mesmo erro de raciocínio de confiar num sistema porque a saída dele está bem formatada. Log bonito que não prova nada, dashboard verde alimentado por métrica errada, teste que passa porque testa a si mesmo: em todos eles a confiança veio da apresentação, não da evidência. A saída da IA é o caso mais recente, e o mais convincente.
A newsletter sai todo domingo, com o bastidor do que eu estou construindo, incluindo o que não deu certo.
