Cómo saber si un agente de IA realmente utilizó la evidencia correcta

Un agente de IA puede citar fuentes, recuperar documentos y, aun así, utilizar la evidencia equivocada. Una fuente puede ser fidedigna pero irrelevante para la afirmación exacta. Un fragmento recuperado puede respaldar solo una parte de la respuesta. Una fuente correcta puede estar obsoleta, desactualizada o ser válida para una jurisdicción, versión de producto, usuario o estado del sistema incorrectos. Esto genera un problema de evaluación más complejo que la simple verificación de citas: ¿utilizó realmente el agente la evidencia adecuada para la afirmación realizada?

Por qué las citas no son suficientes

Una cita responde únicamente a una pregunta acotada: si el sistema asoció una afirmación o respuesta con una fuente. No determina automáticamente que la fuente respalde la afirmación específica, que sea lo suficientemente fidedigna para la tarea, que el pasaje citado contenga la condición o excepción necesaria, o que el modelo se haya basado en esa evidencia en lugar de generar la respuesta a partir de su conocimiento previo.

La guía de Anthropic para la evaluación de agentes de investigación separa explícitamente la fundamentación, la cobertura y la calidad de las fuentes. De manera similar, la guía de evaluación de agentes de OpenAI enfatiza las trazas porque el resultado final no revela si el agente seleccionó las herramientas adecuadas o siguió el flujo de trabajo previsto. Estas ideas apuntan a una conclusión más amplia: la calidad de la evidencia es una propiedad de la ruta de ejecución, no solo del texto final.

Las cuatro preguntas que toda afirmación relevante debe superar

1. Respaldo de la afirmación: ¿fundamenta la fuente lo que afirma el agente?

La evidencia debe evaluarse a nivel de afirmación. Un documento puede ser relevante para el tema y, aun así, no respaldar una declaración específica. Si una fuente señala que una función está disponible en regiones seleccionadas, la respuesta «la función está disponible a nivel global» carece de respaldo, aunque la cita parezca verosímil.

Aquí es donde las valoraciones generales de «fundamentado / no fundamentado» suelen ser demasiado imprecisas. Divida la respuesta en afirmaciones relevantes, asocie cada afirmación con el fragmento de evidencia más pequeño que la respalde y clasifique la relación: respaldo directo, respaldo parcial, contradicción o sin respaldo.

2. Autoridad de la evidencia: ¿es el tipo de fuente adecuado?

La selección correcta de la evidencia no consiste únicamente en la relevancia semántica. La fuente debe ser adecuada para la decisión. El estado actual de una cuenta debe provenir del sistema de cuentas, no de un correo electrónico antiguo. Una afirmación sobre el comportamiento de una API debería contrastarse preferiblemente con la documentación actual del proveedor o con un comportamiento reproducible. Un requisito legal puede requerir la ley aplicable, el organismo regulador o directrices oficiales en lugar de una publicación genérica de un blog.

La autoridad de la fuente depende de la tarea específica. Un informe de la comunidad puede ser la mejor evidencia para un error real que la documentación del proveedor no reconoce. Un comunicado del proveedor puede ser fidedigno respecto a lo que este afirma, pero constituir una evidencia débil sobre el rendimiento independiente. Por lo tanto, el evaluador necesita una jerarquía de fuentes explícita para la tarea en lugar de una puntuación de autoridad universal.

3. Aplicabilidad: evidencia correcta, condiciones incorrectas

Los errores de evidencia más peligrosos a menudo no provienen de fuentes inventadas, sino de fuentes válidas utilizadas fuera de sus límites. Una recomendación puede cambiar según la versión del software, la fecha, la jurisdicción, la revisión del hardware, los permisos del usuario, la disponibilidad del producto, el estado actual del juego, la configuración del inquilino (tenant) u otras variables del entorno.

Para cada fuente relevante, conserve las condiciones que determinan si aún resulta aplicable. Esto es especialmente importante tras una síntesis: una memoria comprimida o una cita puede preservar la conclusión al tiempo que omite la excepción, la fecha o el requisito previo que validaba dicha conclusión.

4. Uso de la evidencia: ¿realmente se basó el agente en la evidencia?

Una respuesta puede ser correcta incluso cuando la recuperación falló. El modelo ya puede conocer la respuesta, inferirla de un contexto no relacionado o simplemente acertar por casualidad. Si la evaluación comprueba únicamente la corrección final, el sistema puede parecer bien fundamentado mientras que la ruta de la evidencia está rota.

Para evaluar el uso de la evidencia, inspeccione la traza. Confirme qué fuentes se recuperaron, qué pasajes llegaron al contexto del modelo, cuándo estuvieron disponibles y si la afirmación final puede explicarse mediante esas entradas. Las herramientas actuales de evaluación de agentes de OpenAI enfatizan la calificación de trazas precisamente porque el comportamiento a nivel de flujo de trabajo no se puede reconstruir de manera confiable solo a partir de la respuesta final.

La prueba de utilización de la evidencia

Se puede construir una evaluación práctica como un contrafáctico controlado. En lugar de preguntar únicamente si la respuesta es correcta, cambie la evidencia y observe si la afirmación cambia en la dirección esperada.

Una matriz de afirmación-evidencia es más útil que una lista de fuentes

Esta matriz plantea varias preguntas que la verificación convencional de citas oculta. Una afirmación puede requerir múltiples fuentes. Una fuente puede respaldar solo una parte de una afirmación. Una fuente autorizada puede tener una ventana de validez corta. Y una fuente perfectamente válida puede ser irrelevante si nunca ingresó a la ruta de ejecución.

Separar la calidad de la recuperación de la calidad de la evidencia

Las métricas de recuperación evalúan si se encontró y clasificó el material relevante. La evaluación de la evidencia analiza si ese material justifica las afirmaciones resultantes. Ambas están relacionadas pero no son idénticas.

Evaluar la calidad de la fuente como una rúbrica, no como una lista blanca de dominios

Las listas fijas de "dominios de confianza" son tentadoras pero a menudo frágiles. En cambio, la calidad de la fuente debe reflejar el tipo de afirmación. Las dimensiones útiles incluyen el estatus primario o secundario, la actualidad, la inmediatez, la reproducibilidad, la independencia, la experiencia en el dominio, la procedencia de los datos, la cadencia de actualización y si la fuente tiene incentivos para exagerar la afirmación.

La guía de evaluación de agentes de investigación de Anthropic señala explícitamente las comprobaciones de calidad de la fuente junto con la fundamentación y la cobertura. Por lo tanto, la implementación práctica debe calificar tanto lo que dice la fuente como si dicha fuente es apropiada para este tipo de declaración.

Cobertura de la evidencia: cada afirmación importante necesita respaldo, no cada oración

No todas las oraciones necesitan una cita. El lenguaje de transición, la aritmética derivada de forma transparente a partir de valores citados o una interpretación claramente señalada pueden no requerir una fuente independiente. Sin embargo, cada afirmación relevante y verificable externamente debe contar con el respaldo suficiente para que un evaluador pueda reconstruir por qué se le permitió al agente expresarla.

Por lo tanto, la cobertura debe ponderarse según la importancia de la afirmación. La falta de respaldo para un detalle decorativo no equivale a la falta de respaldo para un precio, una decisión de elegibilidad, una instrucción de seguridad, un requisito legal, una declaración de compatibilidad técnica o un hecho que fundamente una recomendación.

La procedencia de la evidencia debe sobrevivir a la síntesis y a la memoria

Los agentes de ejecución prolongada a menudo resumen el trabajo previo o registran memorias duraderas. Si la procedencia de la evidencia se elimina durante esa transformación, los agentes futuros pueden recuperar una conclusión clara sin saber si provino de una declaración del usuario, una API en tiempo real, un documento antiguo, una inferencia del modelo o un resultado web no verificado.

Para hechos importantes, conserve al menos la identidad de la fuente, la hora de recuperación u observación, el tipo de evidencia, la versión o estado relevante, y si el texto almacenado está citado, resumido, inferido o derivado. La procedencia es lo que permite que un agente posterior decida si se debe confiar en la evidencia, actualizarla, restringirla o descartarla.

Un registro práctico de evidencia

Modos de fallo que parecen fundamentados pero no lo están

Cómo evaluar al agente en producción

La guía de evaluación actual de OpenAI recomienda evaluaciones específicas para cada tarea, evaluación continua, conjuntos de datos derivados de producción y trazas para depurar el comportamiento de los agentes. Del mismo modo, Anthropic aconseja combinar tipos de evaluadores para agentes de investigación, dado que la corrección, la calidad de las fuentes, la cobertura y la fundamentación son dimensiones independientes. La evaluación de la evidencia debe seguir el mismo patrón: varios evaluadores específicos resultan más diagnósticos que una única puntuación de "calidad" opaca.

No permita que un juez LLM sea el único evaluador de evidencia

Los evaluadores basados en LLM son útiles para la clasificación escalable de afirmaciones, verificaciones de relevancia y comparaciones por pares, pero pueden compartir los mismos puntos ciegos que el sistema que evalúan. Un evaluador puede aceptar una afirmación plausible pero no respaldada, pasar por alto un límite sutil entre versiones o sobrevalorar una fuente bien redactada.

La guía de evaluación de OpenAI recomienda calibrar los evaluadores automatizados con el juicio humano y utilizar criterios claros y delimitados. En sistemas que hacen un uso intensivo de evidencia, deben aplicarse comprobaciones deterministas siempre que sea posible: marcas de tiempo, versiones de objetos, alcance de permisos, identificadores de fuente exactos, orden de recuperación, hashes de documentos y si la evidencia estaba presente antes de que el modelo generara la afirmación.

¿Qué cambiaría esta respuesta?

La evaluación puede ser más sencilla cuando el agente opera sobre un corpus pequeño, inmutable y fidedigno, y cada respuesta es estrictamente extractiva. En ese entorno, la autoridad y la aplicabilidad de las fuentes son en su mayoría fijas, y el respaldo de la afirmación mediante fragmentos de texto puede ser suficiente.

La evaluación debe volverse más rigurosa cuando el agente combina búsquedas web, memoria a largo plazo, herramientas en tiempo real, múltiples jurisdicciones, información que cambia con rapidez, estados específicos del usuario o acciones autónomas. En esos sistemas, la validez de la evidencia no solo depende del texto de origen, sino también de cuándo y cómo se obtuvo dicha evidencia.

Los modelos futuros pueden volverse mejores rastreando internamente la procedencia y la incertidumbre, pero eso no eliminaría la necesidad de registros de evidencia externos en sistemas que requieren auditabilidad. Un sistema no debería depender del autoinforme del modelo sobre qué influyó en él cuando las trazas y los metadatos de las fuentes pueden proporcionar evidencia más sólida.

Limitaciones

No siempre es posible demostrar el uso causal de la evidencia solo a partir de las trazas. Una fuente puede estar presente en el contexto sin influir en la respuesta, y un modelo puede conocer de forma independiente el mismo hecho. Las pruebas contrafácticas refuerzan la inferencia, pero pueden alterar por sí mismas la distribución de la tarea.

La autoridad de las fuentes también puede ser discutible o depender del dominio. Algunas preguntas no tienen una única fuente autorizada y los expertos pueden estar en desacuerdo sobre qué evidencia merece mayor peso. En esos casos, el evaluador debe preservar el desacuerdo y puntuar la transparencia, la cobertura y el razonamiento frente a una rúbrica explícita en lugar de pretender que existe una única fuente de verdad incuestionable.

Conclusión

La pregunta “¿citó una fuente el agente?” es demasiado débil para la IA en producción. La pregunta más sólida es: ¿provino cada afirmación importante de evidencia que realmente la respalda, tiene la autoridad adecuada, sigue siendo aplicable a las condiciones actuales y estuvo disponible en la ruta de ejecución antes de que se formulara la afirmación?

Eso convierte la evidencia de un mero adorno en una propiedad evaluable del sistema. Capture la traza. Asocie las afirmaciones con la evidencia. Compruebe la autoridad y la aplicabilidad. Ejecute pruebas de evidencia contrafácticas. Preserve la procedencia a través de resúmenes y memoria. Así, una respuesta correcta no solo es plausible: cuenta con una ruta de evidencia que se puede inspeccionar.

Preguntas frecuentes

Glosario

Fuentes primarias y lecturas adicionales