codeplain
Todos os artigos

O que um modelo faz, e o que ele não faz

Por que o agente diz que terminou quando não terminou? Entender o que um modelo de IA faz de verdade muda o jeito de trabalhar com ele.

Aguinelo Koczkodai
5 min de leitura

Imagina a cena. Você pede para o agente corrigir um bug. Ele pensa um pouco, responde que está tudo certo, explica até o que mudou. Você vai olhar e nada foi feito. Ele tentou abrir um arquivo com o nome errado, deu erro, e ele seguiu em frente como se nada tivesse acontecido.

Isso não é raro, e não é coisa de modelo ruim. Acontece com todos. E a parte estranha é a confiança: como é que ele fala com tanta certeza de uma coisa que não fez?

A resposta está no que um modelo faz de verdade, que é bem menos do que parece.

Um autocomplete muito bom

Sabe quando você digita no celular e ele sugere a próxima palavra? Um modelo de linguagem é isso, em escala absurda. Ele leu uma quantidade gigante de texto e aprendeu o que costuma vir depois do quê. Você escreve "o céu é", ele continua com "azul".

Repara numa coisa: ele não olhou pela janela. Ele disse azul porque é o que normalmente vem depois de "o céu é". Se estiver chovendo, ele continua dizendo azul, com a mesma tranquilidade.

Guarda essa ideia, porque o resto do artigo sai dela. O modelo não checa se é verdade. Ele escreve o que parece a continuação certa. E isso vale para todos: Claude, Codex, GLM, MiniMax, DeepSeek. Uns preveem melhor que outros, mas todos fazem a mesma coisa.

Então como ele lê arquivo e roda teste?

Ele não lê. Pensa numa pessoa trancada numa sala sem janela, só com papel e caneta. Ela não alcança nada lá fora. O que ela pode fazer é escrever um bilhete, "abre o arquivo flag.py para mim", e passar por baixo da porta.

Do lado de fora tem um assistente. Ele pega o bilhete, abre o arquivo, copia o conteúdo e devolve por baixo da porta. Aí a pessoa lê e escreve o próximo bilhete. E assim vai, até ela escrever a resposta final.

A pessoa na sala é o modelo. O assistente é o harness, o programa em volta dele. Esse vai e volta de bilhetes é o loop de agente. Quando parece que a IA está mexendo no seu projeto, é o assistente que está fazendo tudo. O modelo só escreve bilhete.

Agora volta no bug do começo. O bilhete voltou dizendo "arquivo não existe". Para quem está na sala, isso é só mais um texto. E depois de uma conversa sobre corrigir bug, o texto que costuma vir é "pronto, corrigi". Então ele escreveu isso. O assistente viu que não veio mais nenhum pedido e entendeu que tinha acabado.

Ninguém mentiu. Cada um fez exatamente o que sabe fazer. Só que ninguém conferiu.

O que isso explica

Quando você enxerga a sala, muita coisa estranha deixa de ser estranha.

Por que ele usa função que não existe mais. Ele aprendeu com o que estava escrito até certa data. Se a biblioteca mudou depois, ele continua escrevendo o jeito antigo, porque é o que mais viu.

Por que ele erra conta e regra. Ele não calculou. Ele escreveu um número que parece certo ali. Um chatbot que promete reembolso de 500 dólares não fez a conta, só completou a frase.

Por que uma mudança pequena no pedido muda tudo. Ele sabe o que costuma vir junto, mas não o porquê das coisas. Num estudo da Apple, trocar detalhes do enunciado e colocar informação inútil derrubou o desempenho em até 65%. Quem entende o problema não se confunde com isso. Quem está completando texto, sim.

Por que ele diz que terminou. Ele não sabe quando acabou. Ele só parou de pedir coisas.

O que fazer com isso

Não adianta brigar com a pessoa na sala, nem trocar por uma pessoa mais inteligente. Ajuda, mas ela continua na sala. O que resolve é o que você coloca do lado de fora.

Antes de deixar uma tarefa com o modelo, faz uma pergunta: isso aqui precisa de criatividade ou precisa estar certo sempre?

Escrever um texto, sugerir um nome, propor uma solução: deixa com ele. Calcular um valor, saber a data de hoje, decidir se o teste passou: isso é trabalho para código, que dá sempre o mesmo resultado.

E o bug do começo tem conserto. Basta ensinar o assistente a não aceitar a resposta final enquanto tiver um bilhete de erro sem resolver. A pessoa na sala continua igual. O sistema é que ficou melhor.

Sobrou uma pergunta. Se o modelo só enxerga o que está no papel, o que cabe nessa mesa? E o que acontece quando ela enche? Esse é o próximo artigo.

Para ir mais fundo

Responder