¿Qué tan lejos está una afirmación de IA de la evidencia? — Distancia a la evidencia
Pregunta
Dos respuestas de IA pueden citar fuentes y aun así diferir enormemente en cuán directamente esas fuentes respaldan las afirmaciones que se hacen. ¿Cómo podemos describir esa diferencia?
Este artículo utiliza el término Distancia de Evidencia para la distancia entre una afirmación y la evidencia directamente inspeccionable que la respalda.
La Distancia de Evidencia es el número y la fuerza de las transformaciones, suposiciones y pasos inferenciales que separan una afirmación de la evidencia que puede verificarla directamente.— Definición de trabajo — un concepto de razonamiento introducido aquí, no una métrica estandarizada.
Qué significa esto realmente
Una cita demuestra que se hizo referencia a una fuente. No demuestra automáticamente que la fuente respalde directamente la oración junto a la cita.
Entre una observación original y una respuesta final de IA puede haber extracción, análisis sintáctico, fragmentación, recuperación, resumen, interpretación, agregación e inferencia.
Primary evidence
↓
Extracted data
↓
Retrieved passage
↓
Summary
↓
Interpretation
↓
Inference
↓
Final claimCada paso puede ser legítimo. Pero cada paso también puede introducir distorsión.
Ejemplo más simple
Supongamos que un sensor de temperatura reporta 38.2 °C.
| Afirmación | Relación con la evidencia | Distancia ilustrativa |
|---|---|---|
| El sensor reporta 38.2 °C. | Lectura directa | Baja |
| El sistema está funcionando más caliente que ayer. | Requiere comparación con la lectura de ayer | Moderada |
| El sistema de enfriamiento está fallando. | Requiere inferencia causal y explicaciones alternativas | Alta |
El valor original del sensor respalda directamente la primera afirmación. Por sí solo no prueba la tercera.
Evidence exists
≠
Evidence directly supports every derived claimDónde deja de funcionar el ejemplo
La Distancia de Evidencia no es simplemente un conteo de oraciones o pasos de procesamiento.
Una transformación matemáticamente válida puede preservar la evidencia casi perfectamente, mientras que una sola interpretación especulativa puede crear un salto epistémico mucho mayor.
Por lo tanto, el concepto incluye tanto la distancia por transformación como la distancia por inferencia.
Respuesta directa
La distancia de evidencia aumenta cuando una afirmación depende de más transformaciones, más suposiciones, una procedencia más débil o una inferencia más fuerte de lo que la evidencia subyacente justifica directamente.
Short distance:
source → claim
Longer distance:
source → extraction → summary → assumption → inference → claimUna distancia mayor no hace automáticamente falsa una afirmación. Significa que la cadena de razonamiento requiere más validación.
Por qué esto importa para la IA
Los LLM son particularmente buenos produciendo puentes fluidos entre piezas de información. Esa capacidad es útil, pero la fluidez puede ocultar cuánto se ha alejado la conclusión de la evidencia recuperada directamente.
Por lo tanto, una respuesta puede parecer bien fundamentada mientras contiene afirmaciones cuyo respaldo existe solo a través de varios pasos inferenciales no declarados.
Del protocolo de investigación a un marco general de razonamiento con IAEl razonamiento confiable requiere una separación explícita de evidencia, suposiciones, hipótesis y conclusiones.
Cuatro componentes de la distancia de evidencia
1. Distancia de transformación
¿Cuántas veces se ha convertido, resumido, normalizado o reformateado la evidencia original antes de llegar al modelo?
2. Distancia inferencial
¿Cuántos pasos de razonamiento se requieren antes de que la evidencia respalde la conclusión final?
3. Distancia de procedencia
¿Todavía se puede rastrear la declaración recuperada hasta una fuente original identificable, o ha pasado por resúmenes y copias cuyo origen no está claro?
4. Distancia de aplicabilidad
¿Cuánto razonamiento se requiere para establecer que la evidencia se aplica a esta versión exacta, usuario, jurisdicción, período de tiempo o situación?
Distancia de evidencia en RAG
RAG puede acortar una distancia importante: la distancia entre un modelo y el conocimiento externo.
No acorta automáticamente la distancia entre un pasaje recuperado y la afirmación final.
RAG solves:
model ↔ external information
RAG does not automatically solve:
evidence ↔ justified conclusionLa recuperación trae información externa al contexto. La Distancia de Evidencia pregunta qué sucede entre esa información y la afirmación que finalmente se produce.
Conexión con el Disparador de Recuperación
El Disparador de Recuperación pregunta si el conocimiento interno del modelo es suficiente.
La Distancia de Evidencia plantea una pregunta posterior: después de que se ha recuperado la evidencia, ¿qué tan directamente respalda lo que el sistema quiere afirmar?
Need evidence?
↓
Retrieval Trigger
↓
Retrieve
↓
How directly does evidence support the claim?
↓
Evidence DistanceEl disparador decide cuándo se necesita evidencia. La Distancia de Evidencia evalúa qué tan lejos va la afirmación final más allá de esa evidencia.
Un Diagnóstico Práctico
Para una afirmación importante generada por IA, reconstruye la cadena de respaldo hacia atrás.
CLAIM
↑
Which inference produced it?
↑
Which retrieved evidence supports that inference?
↑
Which source produced that evidence?
↑
Can the original source still be inspected?Si la cadena se rompe, el sistema ha encontrado un problema de trazabilidad de la evidencia.
Si la cadena permanece intacta pero requiere varias suposiciones sólidas, la Distancia de Evidencia sigue siendo alta.
Ejemplo: Datos de Producto
Supongamos que una especificación de fabricante dice que una computadora portátil pesa 1,48 kg.
Manufacturer specification
→ 1.48 kg
→ "The laptop weighs 1.48 kg"
Low Evidence DistanceAhora considera:
Manufacturer specification
→ 1.48 kg
→ comparison with three competitors
→ assumption about travel behavior
→ "This is the best laptop for frequent travelers"
Much higher Evidence DistanceLa especificación es real. La recomendación todavía está a varios pasos de razonamiento de distancia de ella.
Ejemplo: Evidencia científica
Un artículo puede reportar una asociación observada. Una respuesta de IA puede comprimir eso incorrectamente en una afirmación causal.
Observed association
↓
Interpretation
↓
Unstated causal assumption
↓
"X causes Y"El problema no es que no exista evidencia. El problema es que la afirmación final cruza una distancia evidencial mayor de la que el estudio respalda directamente.
Conexión con el contexto listo para agentes
Los objetos de información estructurados pueden reducir la Distancia Evidencial evitable al preservar la identidad de la fuente, las unidades, las marcas de tiempo, los conflictos y la validez en lugar de forzar al modelo a reconstruirlos a partir de texto aplanado.
De datos brutos a contexto de IA verificable: una arquitectura práctica para información lista para agentesPreservar la procedencia y la validez antes de la recuperación reduce el número de pasos de reconstrucción no respaldados requeridos después.
Una escala de trabajo simple
| Nivel | Descripción |
|---|---|
| ED0 | Hecho de la fuente reportado directamente |
| ED1 | Transformación determinista simple o comparación directa |
| ED2 | Un paso interpretativo significativo |
| ED3 | Múltiples suposiciones o fuentes combinadas |
| ED4 | Conclusión causal, predictiva o prescriptiva fuerte más allá de la evidencia directa |
Esta escala es ilustrativa, no un estándar científico. Su propósito es forzar una pregunta explícita: ¿Cuánto tuvimos que agregar entre la evidencia y la afirmación?
Conceptos erróneos
Una cita significa que la Distancia Evidencial es baja. No. Una cita puede estar junto a una afirmación que excede sustancialmente lo que establece la fuente citada.
Una Distancia Evidencial larga significa que la afirmación es incorrecta. No. Las conclusiones complejas pueden estar bien respaldadas, pero requieren una cadena de razonamiento más fuerte.
Las fuentes primarias eliminan la inferencia. No. La evidencia primaria todavía puede requerir interpretación.
Más fuentes reducen automáticamente la distancia. Diez repeticiones débiles de la misma afirmación no respaldada no crean evidencia directa.
Caso límite: Datos derivados
Algunos valores derivados son más fiables que las descripciones humanas sin procesar. Un total calculado correctamente a partir de transacciones verificadas puede ser altamente confiable aunque esté a una transformación de distancia de los registros originales.
Por lo tanto, la Distancia de Evidencia mide la separación epistémica, no una preferencia simplista por datos no modificados.
Limitaciones
La Distancia de Evidencia es un diagnóstico conceptual, no una puntuación cuantitativa universal.
Diferentes dominios requieren un tratamiento diferente de la inferencia. La prueba matemática, la evidencia clínica, los registros de software, el análisis de mercado y la interpretación histórica no pueden compartir un único umbral numérico universal.
¿Qué cambiaría esta respuesta?
Los futuros sistemas de IA podrían generar grafos de procedencia explícitos, vínculos entre afirmaciones y evidencia verificables por máquina y rastros de razonamiento tipificados. Eso podría hacer que partes de la Distancia de Evidencia sean medibles automáticamente.
El problema subyacente permanece: una afirmación puede alejarse más de su evidencia incluso mientras cada oración intermedia suena plausible.
Conclusión
La distinción importante no es meramente entre respuestas con fuentes y sin fuentes.
Es entre afirmaciones que permanecen cerca de evidencia directamente inspeccionable y afirmaciones que dependen de cadenas cada vez más largas de interpretación y suposición.
Evidence
↓
Evidence Distance
↓
Reasoning
↓
Answer Validity BoundaryLa Distancia de Evidencia nos da un lenguaje para describir ese espacio.
Fuentes primarias
Patrick Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020).
Nelson F. Liu et al., Lost in the Middle: How Language Models Use Long Contexts (2023).
W3C, PROV Overview. Un modelo estandarizado para representar relaciones de procedencia.
Related Articles
ADR vs NFR: Las decisiones de arquitectura y la calidad del sistema no son lo mismo
ADR vs NFR explicado: aprende cómo los requisitos de calidad del sistema impulsan las decisiones de arquitectura, cómo los ADR registran las compensaciones y por qué la validación se mantiene separada.
IA con aislamiento de red: cómo funcionan los sistemas de IA sin acceso a Internet ni a la nube
La IA con aislamiento de red ejecuta modelos, RAG y aplicaciones de IA dentro de un dominio de seguridad aislado sin dependencias de internet ni de la nube. Descubra cómo funcionan los modelos, los datos, las actualizaciones y las herramientas sin conexión.
IA generativa explicada: modelos, recuperación, herramientas y aplicaciones no son lo mismo
La IA generativa es más que un modelo. Aprende cómo los modelos, la recuperación, las herramientas, el contexto, los entornos de ejecución y las aplicaciones encajan en los sistemas de IA en producción.
¿Puede la evidencia sobrevivir al flujo de trabajo de la IA? — La cadena de preservación de evidencia
Las pruebas pueden ser correctas en la fuente y aun así volverse poco fiables después del análisis, la normalización, la fragmentación, la recuperación y el ensamblaje del contexto. La Cadena de Preservación de Pruebas rastrea si la identidad, la procedencia, el alcance y el significado sobreviven a todo el proceso de IA.
Gobernanza de la IA: modelos, datos, permisos, riesgo y auditabilidad
La gobernanza de la IA define quién puede aprobar, operar, cambiar y auditar los sistemas de IA en todos los modelos, proveedores, datos, permisos, riesgos, evaluación y el ciclo de vida completo.
Arquitectura Multi-Inquilino de Grado Empresarial para una Plataforma Internacional
Loving Rocks es una plataforma de bodas de nivel empresarial diseñada con una verdadera arquitectura multiinquilino, bases de datos aisladas por inquilino e internacionalización integrada para escalabilidad global, seguridad y estabilidad operativa a largo plazo.
IA soberana: control de modelos, datos, infraestructura y dependencias
La IA soberana se trata del control efectivo sobre los modelos, los datos, la infraestructura, el software, las operaciones y las dependencias estratégicas, no simplemente de dónde está alojado un modelo de IA.
MCP explicado: qué conecta, qué no hace y dónde encaja
El Protocolo de Contexto de Modelo conecta aplicaciones de IA con herramientas, recursos y prompts externos a través de un límite estándar cliente-servidor. Aprende qué hace MCP, qué no hace y dónde encaja en la arquitectura de agentes.