Qué significa, en serio, que un agente sea racional
La palabra agente está hoy por todos lados. Cualquier sistema que recibe una instrucción y ejecuta un par de pasos se vende como “agente de IA”. Pero la definición técnica es bastante más exigente que eso. Para que un agente sea útil en un sentido fuerte, tiene que ser racional. Y ser racional, en términos clásicos de teoría de decisiones, quiere decir algo muy concreto: elegir siempre la acción que maximiza la utilidad esperada para su usuario.
Supongamos que un agente tiene dos acciones posibles en un entorno: a_1 y a_2. Si el agente puede predecir que a_1 entrega a su usuario una utilidad esperada de 10, y a_2 entrega una utilidad esperada de -100, entonces un agente racional debe elegir a_1, incluso si en palabras a_2 suena como “la mejor opción”.
Esos números 10 y -100 no salen de la nada. Se obtienen sumando los productos de todos los resultados posibles de cada acción multiplicados por su probabilidad. Formalmente:
E[U(a)] = Σᵢ P(oᵢ | a) · U(oᵢ)
Un agente racional ordena sus acciones por ese valor esperado y se queda con la que lo maximiza. Punto. No le importa si la acción ganadora suena interesante, si es elegante de explicar o si se parece a lo que “haría una persona inteligente”. Le importa el número.
El problema con los agentes basados en LLM
Ahora viene la parte incómoda. Un LLM no está optimizando utilidad esperada en un entorno. Está optimizando el siguiente token, condicionado a un prompt, a una ventana de contexto y a una distribución de entrenamiento llena de ejemplos de cómo se ve una respuesta “útil”.
Esos no son el mismo objetivo. Ni siquiera son objetivos parecidos.
- Un agente racional optimiza consecuencias en un entorno.
- Un LLM optimiza texto plausible dado un contexto.
- Una decisión correcta a veces es aburrida, no lingüística, o muy distinta a los ejemplos vistos en entrenamiento.
- Una continuación plausible, en cambio, casi siempre se parece a lo que un humano escribiría.
Cuando envolvemos un LLM en un loop y lo llamamos “agente”, no estamos creando un tomador de decisiones racional. Estamos creando un generador de texto que puede imitar la forma superficial de la deliberación.
Imitar deliberación no es deliberar
Un LLM puesto en modo agente puede producir frases como:
- “Debería comparar los resultados esperados.”
- “La mejor acción probablemente es
a_1.” - “Voy a ejecutar el plan óptimo.”
El problema es que el mecanismo interno no está seleccionando acciones por maximización de utilidad esperada. Está generando una continuación estadísticamente apropiada dado el prompt y el contexto previo. La diferencia es invisible cuando se lee la salida en voz alta y enorme cuando se mide el resultado en el mundo.
Esta distinción importa enormemente en cualquier proyecto donde se le entrega responsabilidad abierta al sistema: ejecutar acciones, modificar archivos, tomar decisiones de negocio, gastar dinero, escribir en un CRM, contestar a un cliente real, mover datos.
Cuándo la imitación alcanza y cuándo no
Para tareas estrechas, la imitación puede ser suficientemente buena. Si el entorno está acotado, las acciones son simples y los criterios de éxito se parecen a patrones vistos en el entrenamiento, el sistema puede comportarse de forma sorprendentemente “agentic”.
- Resumir un documento siguiendo una plantilla conocida.
- Clasificar correos en categorías predefinidas.
- Redactar una respuesta inicial en un canal de soporte con guion claro.
- Generar borradores de código bajo supervisión humana cercana.
Pero para resolución de problemas de propósito general, la brecha se vuelve fatal. Un agente racional necesita preferencias estables, creencias bien calibradas, modelos causales del mundo, capacidad de evaluar consecuencias y la disciplina para elegir la acción de máxima utilidad esperada incluso cuando esa acción es aburrida, no lingüística, o se ve poco como los ejemplos de su entrenamiento.
Un agente basado en LLM no tiene nada de eso por defecto. Tiene fluidez. Tiene completación de patrones. Tiene una capacidad notable para comprimir y recombinar texto humano. Pero fluidez no es racionalidad, y un plan plausible no es un cálculo de utilidad esperada.
Por qué fallan de formas tan extrañas
Esto explica por qué estos sistemas suelen fallar de maneras raras, frágiles e irreparables cuando se les entrega responsabilidad abierta. No fallan porque los prompts no sean lo suficientemente ingeniosos. Fallan porque le estamos pidiendo a un simulador de agencia racional que se comporte como un agente racional.
-
Sin preferencias estables
El mismo agente, con un prompt levemente distinto, puede ordenar sus prioridades de otra forma. No hay una función de utilidad fija debajo: hay una distribución de continuaciones probables.
-
Sin creencias calibradas
Un LLM puede afirmar con seguridad cosas falsas y dudar de cosas verdaderas. No tiene un mecanismo formal para asignar probabilidades coherentes a estados del mundo.
-
Sin modelo causal
Asocia patrones, no causas. Por eso puede recomendar acciones que suenan al efecto deseado sin entender qué las produciría realmente en el entorno.
-
Sin disciplina de elección
Cuando la mejor acción es aburrida, repetitiva o poco narrativa, el modelo tiende a preferir la versión más “interesante” porque eso es lo que abunda en su distribución de entrenamiento.
Qué hacer entonces con los agentes de IA
Esto no significa que los agentes basados en LLM sean inútiles. Significa que hay que usarlos con criterio, en contextos donde la imitación de deliberación es suficiente y donde el costo de una decisión equivocada es bajo o está acotado por controles externos.
- Definir con claridad el alcance: qué puede hacer el agente y qué no.
- Mantener un humano en el loop para acciones con consecuencias relevantes.
- Usar herramientas externas con reglas duras para decisiones que sí deben optimizar utilidad real (precios, asignaciones, ranking, control).
- Medir resultados, no solo lo que el agente “dice” que hizo.
- Aceptar que el LLM es una pieza dentro del sistema, no el sistema completo.
La regla práctica es simple: cuando una tarea exige elegir entre opciones por sus consecuencias esperadas, conviene que esa parte la haga un componente diseñado para optimizar utilidad, no un generador de texto. El LLM puede explicar, redactar, traducir, sugerir o intermediar. Pero la decisión final de máxima consecuencia debería apoyarse en algo más que la fluidez del lenguaje.
Un agente útil tiene que ser racional. Un LLM, por construcción, no lo es. Saber dónde termina la imitación y empieza la decisión real es lo que separa a un proyecto de IA bien planteado de uno que va a fallar de formas que después nadie va a poder explicar.