La mayoría de los equipos evalúa su primer agente igual que evaluaba todo lo anterior: mira la respuesta final y decide si está bien. Para una llamada simple a un LLM, eso alcanza. Para un agente, esconde casi todo lo que importa. Un agente puede devolver una respuesta correcta después de tomar un camino imprudente, llamar a las herramientas equivocadas, quemar diez veces el presupuesto que necesitaba y tener suerte en el último paso. Si solo puntúas el output, eso cuenta como éxito. La próxima vez que la suerte no acompañe, el mismo agente falla en producción y nadie sabe explicar por qué.
La evaluación de agentes de IA es la disciplina de juzgar la trayectoria completa: la secuencia de decisiones, llamadas a herramientas y recuperaciones que hace un agente en su camino hacia un resultado. Es una de las habilidades que más rápido está creciendo en el trabajo de producto con IA, y también una de las menos entendidas. Este artículo explica por qué la evaluación basada solo en el output se rompe con agentes, qué conviene medir en su lugar, las técnicas que funcionan en la práctica, y la señal honesta que indica cuándo los evals que venías corriendo dejaron de alcanzar.
Está escrito para Product Managers y profesionales de calidad que ya entienden cómo evaluar features simples de LLM y necesitan extender esa práctica a sistemas que actúan en varios pasos.
Por qué puntuar la respuesta final se queda corto
Una feature de LLM de un solo paso tiene un input y un output. Puedes armar un dataset de inputs, definir qué hace bueno a un output y puntuar el modelo contra eso. La superficie de evaluación es chica y los modos de falla quedan a la vista.
Un agente cambia la forma del problema. Entre el objetivo y el resultado ahora hay un proceso: el agente razona sobre el próximo paso, elige una herramienta, lee lo que vuelve, vuelve a decidir, y repite. El mismo objetivo se puede alcanzar con un camino limpio de tres pasos o con uno caótico de quince. Dos corridas sobre el mismo input pueden divergir por completo. La respuesta final te dice dónde aterrizó el agente y no dice nada sobre cómo llegó ahí ni sobre si va a volver a llegar.
Esto importa por tres razones concretas. La primera es confiabilidad: un agente que acierta por suerte va a fallar cuando cambien las condiciones, y puntuar el output no distingue suerte de competencia. La segunda es costo: un camino que llama a una herramienta ocho veces cuando dos alcanzaban es un gasto real a escala, invisible para quien solo mira la respuesta. La tercera es debugging: cuando un agente falla, necesitas saber qué paso se rompió. Un veredicto de pasa o no pasa sobre el output no te da nada accionable.
Qué conviene medir
Evaluar bien un agente significa puntuar varias dimensiones de la trayectoria, cada una respondiendo a una pregunta distinta.
El cumplimiento del objetivo es la primera y la más obvia: ¿el agente logró lo que se le pidió? Es lo más cercano a la puntuación tradicional del output, y por sí sola es la señal más débil. Consérvala, y nunca la dejes operar en soledad.
La calidad del camino pregunta si la secuencia de pasos tuvo sentido. ¿El agente eligió un abordaje razonable, o anduvo dando vueltas, volviendo sobre sus pasos y tropezando con la respuesta? Un camino razonable en una tarea difícil vale más que un atajo afortunado, porque el camino razonable generaliza y el atajo no.
El uso correcto de herramientas mira cada acción que tomó el agente. ¿Eligió la herramienta correcta en cada paso? ¿La llamó con argumentos sensatos? ¿Llamó a herramientas que no necesitaba? La elección equivocada de herramienta es una de las fallas más comunes en agentes, y es completamente invisible si solo lees el texto final.
La recuperación ante errores es donde los agentes muestran su madurez real. Las cosas fallan a mitad de la trayectoria: una API devuelve un error, una búsqueda vuelve vacía, una herramienta entrega un resultado malformado. Un agente fuerte lo nota, ajusta y encuentra otra ruta. Uno débil entra en loop, ignora la falla o sigue de largo con datos malos. Cómo se comporta un agente después de que algo sale mal predice el comportamiento en producción mejor que cualquier corrida limpia y exitosa.
La eficiencia ata todo: cuántos pasos, cuántos tokens, cuánto tiempo de reloj, cuánta plata. Dos agentes que llegan al objetivo no son iguales si uno cuesta cinco veces más. La eficiencia es una dimensión de calidad de primer orden para los agentes, y entra en el eval desde el día uno en lugar de aparecer como reflexión tardía cuando llega la factura.
Técnicas que funcionan en la práctica
La evaluación de trayectoria es el método central. En vez de puntuar solo el punto final, capturas la traza completa de la corrida (cada paso de razonamiento, cada llamada a herramienta, cada observación) y evalúas esa traza. La traza es la unidad de análisis. Todo lo demás se apoya en tenerla registrada y legible.
Las trayectorias de referencia ayudan cuando una tarea tiene un buen camino conocido. Defines cómo se ve una corrida competente (qué herramientas, en qué orden aproximado, con qué tipo de resultados intermedios) y comparas la corrida real del agente contra ella. Funciona bien para tareas acotadas con un método claro, y menos bien para las abiertas donde muchos caminos son válidos.
El LLM-as-judge se extiende naturalmente a las trayectorias. Un modelo capaz lee la traza completa y la puntúa contra una rúbrica: si el plan fue sólido, si las herramientas se usaron bien, si la recuperación fue adecuada. La misma disciplina que aplica a juzgar outputs individuales aplica acá, incluidos sus riesgos. Un juez sin validar es una opinión disfrazada de medición, así que un juez que puntúa trayectorias tiene que estar calibrado contra criterio humano antes de confiar en sus números, y vigilado por los sesgos de siempre, como preferir trazas largas o anclarse en patrones familiares.
La puntuación por componentes descompone la trayectoria en las dimensiones de arriba (objetivo, camino, herramientas, recuperación, eficiencia) y puntúa cada una por separado en vez de colapsar todo en un solo número. Un puntaje agregado único esconde qué parte está fallando. Los puntajes separados te dicen dónde corregir.
En todas estas técnicas, el cimiento es el mismo que el de cualquier práctica seria de evaluación: un dataset representativo de casos, incluidos los sucios y los adversariales, puntuado de manera sistemática y no mirando un par de demos. La disciplina más profunda de construir esos datasets, leer outputs en una taxonomía de fallas y calibrar jueces es la práctica completa de los AI Evals, y la evaluación de agentes se apoya encima de ella.
Un ejemplo concreto
Tomemos un agente de investigación que, dado el nombre de una empresa, junta información pública y produce un brief de una página. Tiene tres herramientas: búsqueda web, lector de páginas y resumidor.
Si solo puntúas el output, lees el brief, lo juzgas preciso y sigues. Si puntúas la trayectoria, aparece otra foto. En una corrida, el agente buscó, leyó cuatro páginas y resumió: un camino limpio. En otra corrida con una empresa más difícil, buscó, obtuvo resultados pobres, volvió a buscar con la misma query (un paso desperdiciado), leyó una página que dio error, ignoró el error, leyó dos más y resumió a partir de datos incompletos. El brief se veía bien porque el modelo escribió con fluidez alrededor de los huecos. La trayectoria mostró que el agente nunca se recuperó de la búsqueda vacía y nunca notó la lectura fallida.
Esa segunda trayectoria es un incidente de producción esperando para suceder. Puntuar el output lo habría dejado pasar. La evaluación de trayectoria hace visible el problema real: el agente no maneja resultados de búsqueda pobres ni tiene conciencia de las llamadas a herramientas que fallan. Ahora tienes algo específico para arreglar, un guardrail para agregar y un caso de eval que va a atrapar la regresión si vuelve a aparecer.
Cuándo tus evals dejan de alcanzar
Hay un momento honesto en todo esfuerzo de evaluación de agentes en el que las técnicas que venías usando dejan de cubrir el sistema que construiste. Vale la pena nombrar las señales.
Cuando los caminos válidos de un agente se vuelven genuinamente diversos, las trayectorias de referencia dejan de servir, porque no hay un único camino correcto contra el cual comparar, y tienes que apoyarte en el juicio por rúbrica sobre si un camino fue razonable en lugar de si coincidió. Cuando pasas de un solo agente a varios agentes que coordinan entre sí, la evaluación se complica de nuevo: una falla ahora vive en algún lugar de la interacción, y tienes que atribuirla al coordinador, a un sub-agente o a la comunicación entre ellos. Cuando el agente corre en producción contra usuarios reales, los conjuntos de prueba controlados dejan de alcanzar por sí solos, y necesitas monitoreo continuo, muestreo de trayectorias reales y detección de regresiones cuando cambia un prompt o un modelo por debajo.
Reconocer estos umbrales es en sí mismo una habilidad. Los equipos que los pasan por alto siguen aplicando un método de evaluación que en silencio dejó de medir lo correcto, y recuperan una confianza que en realidad no se ganaron.
Cierre
Los agentes no van a ser confiables porque los modelos de fondo mejoren. Van a ser confiables porque los equipos que los construyen aprendieron a ver la trayectoria completa y a medirla. Puntuar el output es cómodo y familiar, y para agentes es una trampa que premia la suerte y esconde el costo. El salto a la evaluación de trayectoria es lo que separa a un agente que demuestra bien de uno que sobrevive al uso real.
Si quieres construir esta práctica con trabajo hands-on sobre un caso real, el lab de AI Evals recorre exactamente este arco, desde construir datasets de prueba y taxonomías de fallas, pasando por evaluación determinística y LLM-as-judge, hasta un encuentro dedicado a evaluar agentes por su trayectoria completa y a operar evals en producción. Está pensado para dos perfiles que se encuentran en el mismo terreno: PMs que necesitan criterio cuantitativo para decidir el shipping, y testers que se mueven hacia AI Quality. Si tu foco está más en el diseño y la gestión de productos agénticos en general, el programa Certified Agentic AI Product Manager cubre la evaluación de agentes junto con diseño, guardrails, gobernanza y costos, tratando a la evaluación como un entregable central y no como un chequeo final. Para entender primero qué son los agentes y cuándo conviene usarlos, el pillar Agentes de IA para Product Managers es el punto de partida.