codeplain
Todos los artículos

Qué hace un modelo, y qué no hace

¿Por qué el agente dice que terminó cuando no terminó? Entender qué hace de verdad un modelo de IA cambia la forma de trabajar con él.

Aguinelo Koczkodai
5 min de lectura

Imagina la escena. Le pides al agente que corrija un bug. Piensa un poco, responde que está todo bien y hasta explica lo que cambió. Vas a mirar y no se hizo nada. Intentó abrir un archivo con el nombre equivocado, dio error, y siguió adelante como si nada.

Esto no es raro, y no es cosa de un modelo malo. Pasa con todos. Y lo extraño es la confianza: ¿cómo habla con tanta seguridad de algo que no hizo?

La respuesta está en lo que un modelo hace de verdad, que es bastante menos de lo que parece.

Un autocompletado muy bueno

¿Sabes cuando escribes en el celular y te sugiere la siguiente palabra? Un modelo de lenguaje es eso, a una escala absurda. Leyó una cantidad gigante de texto y aprendió qué suele venir después de qué. Escribes "el cielo es", y sigue con "azul".

Fíjate en una cosa: no miró por la ventana. Dijo azul porque es lo que normalmente viene después de "el cielo es". Si está lloviendo, sigue diciendo azul, con la misma calma.

Guarda esta idea, porque el resto del artículo sale de ella. El modelo no verifica si algo es verdad. Escribe lo que parece la continuación correcta. Y eso vale para todos: Claude, Codex, GLM, MiniMax, DeepSeek. Unos predicen mejor que otros, pero todos hacen lo mismo.

Entonces, ¿cómo lee archivos y corre tests?

No los lee. Piensa en una persona encerrada en una sala sin ventanas, solo con papel y lápiz. No alcanza nada de afuera. Lo que puede hacer es escribir una nota, "ábreme el archivo flag.py", y pasarla por debajo de la puerta.

Afuera hay un asistente. Toma la nota, abre el archivo, copia el contenido y lo devuelve por debajo de la puerta. La persona lee y escribe la siguiente nota. Y así sigue, hasta que escribe la respuesta final.

La persona en la sala es el modelo. El asistente es el harness, el programa que lo rodea. Ese ir y venir de notas es el loop del agente. Cuando parece que la IA está trabajando en tu proyecto, es el asistente el que hace todo. El modelo solo escribe notas.

Ahora vuelve al bug del principio. La nota regresó diciendo "el archivo no existe". Para quien está en la sala, eso es solo más texto. Y después de una conversación sobre corregir un bug, el texto que suele venir es "listo, corregido". Entonces escribió eso. El asistente vio que no llegó ningún pedido más y entendió que había terminado.

Nadie mintió. Cada uno hizo exactamente lo que sabe hacer. Solo que nadie verificó.

Lo que esto explica

Cuando ves la sala, muchas cosas extrañas dejan de serlo.

Por qué usa funciones que ya no existen. Aprendió con lo que estaba escrito hasta cierta fecha. Si la biblioteca cambió después, sigue escribiendo a la manera antigua, porque es lo que más vio.

Por qué se equivoca con cuentas y reglas. No calculó nada. Escribió un número que parece correcto ahí. Un chatbot que promete un reembolso de 500 dólares no hizo la cuenta, solo completó la frase.

Por qué un cambio pequeño en el pedido lo cambia todo. Sabe qué suele ir junto, pero no el porqué de las cosas. En un estudio de Apple, cambiar detalles del enunciado y agregar información inútil hizo caer el desempeño hasta un 65%. Quien entiende el problema no se confunde con eso. Quien está completando texto, sí.

Por qué dice que terminó. No sabe cuándo acabó. Solo dejó de pedir cosas.

Qué hacer con esto

No sirve pelear con la persona en la sala, ni cambiarla por alguien más inteligente. Ayuda, pero sigue en la sala. Lo que resuelve es lo que pones del lado de afuera.

Antes de dejarle una tarea al modelo, hazte una pregunta: ¿esto necesita creatividad o necesita estar bien siempre?

Escribir un texto, sugerir un nombre, proponer una solución: déjaselo a él. Calcular un valor, saber la fecha de hoy, decidir si el test pasó: eso es trabajo para el código, que da siempre el mismo resultado.

Y el bug del principio tiene arreglo. Basta con enseñarle al asistente a no aceptar la respuesta final mientras haya una nota de error sin resolver. La persona en la sala sigue igual. El sistema es el que mejoró.

Queda una pregunta. Si el modelo solo ve lo que está en el papel, ¿cuánto cabe en esa mesa? ¿Y qué pasa cuando se llena? Ese es el próximo artículo.

Para profundizar

Responder