Por qué más contexto puede empeorar las respuestas de la IA

Una ventana de contexto más grande le otorga a un sistema de IA mayor capacidad. No garantiza que el modelo utilice bien esa capacidad. En conversaciones largas, canalizaciones de RAG, agentes de investigación y flujos de trabajo con uso intensivo de herramientas, agregar más historial, más documentos, más resultados de herramientas o más memoria puede hacer que una respuesta sea menos confiable en lugar de estar mejor informada.

La capacidad de contexto no es usabilidad del contexto

La ventana de contexto anunciada de un modelo describe cuánto contenido de entrada puede aceptar. No implica que cada token dentro de esa ventana reciba la misma atención o contribuya por igual a la respuesta final. La distinción es importante porque los sistemas en producción llenan cada vez más el contexto con historial de conversación, documentos recuperados, resultados de herramientas, memoria, estado estructurado, instrucciones y artefactos intermedios.

El clásico estudio «Lost in the Middle» demostró que los modelos de contexto largo pueden rendir peor cuando la evidencia relevante aparece en el medio de una entrada extensa que cuando aparece cerca del principio o del final. La lección de ingeniería más amplia no es que un contexto largo sea malo. Es que la disponibilidad dentro del contexto no equivale a un uso confiable.

La guía de gestión de contexto de OpenAI llega a la misma conclusión operativa desde otra perspectiva: incluso las ventanas de contexto muy grandes pueden verse saturadas por un historial no depurado, salidas redundantes de herramientas y recuperaciones ruidosas. De igual modo, Anthropic trata el contexto como un recurso finito que requiere ingeniería activa en lugar de acumulación pasiva.

Cinco formas en las que el contexto adicional puede reducir la calidad de las respuestas

1. Dilución de la señal: la evidencia relevante compite con todo lo demás

Supongamos que una pregunta puede responderse a partir de dos fragmentos breves. Un sistema RAG recupera esos fragmentos más dieciocho vagamente relacionados «por seguridad». La exhaustividad de la recuperación puede mejorar, pero ahora el generador debe distinguir la evidencia decisiva del material secundario. Si aparecen frases similares en varios documentos, el contexto adicional puede hacer que la respuesta sea menos precisa.

Esto genera una distinción importante entre la exhaustividad de la recuperación y la utilidad del contexto. Una mayor cantidad de material recuperado puede aumentar la probabilidad de que la respuesta exista en algún lugar del contexto, al tiempo que reduce la probabilidad de que el modelo le dé el peso suficiente a la evidencia adecuada.

2. Conflicto de evidencia: más fuentes pueden significar más versiones de la realidad

Los contextos extensos a menudo contienen información mutuamente inconsistente: documentación de API antigua y nueva, dos versiones de una política, preferencias del usuario anteriores y actuales, fuentes web contradictorias, estado en caché o un resumen generado por el modelo que ya no coincide con la fuente.

El fallo no es necesariamente una alucinación. El modelo puede estar combinando fielmente evidencia contradictoria. Por lo tanto, la arquitectura necesita reglas de precedencia: autoridad de la fuente, versión, marca de tiempo, jurisdicción, inquilino (tenant), revisión del producto, estado del usuario o metadatos explícitos de sustitución.

Sin esas reglas, aumentar el contexto puede incrementar la contradicción más rápido de lo que incrementa el conocimiento.

3. Sensibilidad a la posición: el lugar donde aparece la evidencia puede cambiar el resultado

Los resultados de «Lost in the Middle» demostraron que cambiar únicamente la posición de la información relevante puede alterar sustancialmente el rendimiento del modelo. Este hallazgo es especialmente importante para sistemas que concatenan muchos fragmentos recuperados o historiales extensos en un orden fijo.

Por lo tanto, una prueba en producción debe variar el orden de los documentos, no limitarse a probar un único prompt canónico. Si el sistema responde correctamente solo cuando la evidencia decisiva está al principio o al final, la aplicación es más frágil de lo que sugiere una simple puntuación de benchmark.

4. Persistencia de contexto obsoleto: el modelo ve la verdad y el historial al mismo tiempo

Los agentes de ejecución prolongada suelen arrastrar conclusiones anteriores. Esa continuidad resulta útil hasta que un hecho cambia. Si el resultado de una herramienta de ayer indica que un despliegue está en buen estado y el resultado actual indica que está degradado, ambos pueden permanecer en el contexto a menos que el sistema reemplace explícitamente el estado anterior o delimite su alcance.

Por esta razón, el estado operativo actual normalmente debe provenir de una fuente fidedigna, mientras que la memoria conserva el contexto duradero, como decisiones, preferencias o procedimientos. Un mayor historial de conversación no sustituye la relectura del presente.

5. Pérdida por compresión: un contexto más pequeño también puede convertirse en un contexto peor

La intervención contraria —comprimir el contexto— también presenta modos de fallo. Los resúmenes pueden omitir excepciones, preguntas no resueltas, procedencia, identificadores precisos, evidencia negativa o las condiciones bajo las cuales una conclusión era válida.

El trabajo sobre ingeniería de contexto agéntico de Microsoft Research describe un problema relacionado denominado sesgo de brevedad y colapso de contexto: la reescritura iterativa puede eliminar detalles útiles del dominio. Por lo tanto, el objetivo no es «comprimir tanto como sea posible», sino reducir el contexto preservando al mismo tiempo la información que determina las decisiones.

El modelo de calidad del contexto

Un contexto útil puede evaluarse a lo largo de seis dimensiones. Ninguna de ellas se reduce simplemente al recuento de tokens.

La prueba de presión del contexto

Para determinar si una aplicación se beneficia de más contexto, evalúe el tamaño del contexto como una variable experimental en lugar de asumir que mayor siempre es mejor.

Qué medir en lugar del recuento de tokens

RAG: por qué aumentar top-k puede resultar perjudicial

Un patrón común de ajuste en RAG es aumentar top-k cuando el sistema no acierta una respuesta. Esto puede mejorar la recuperación de candidatos, pero también incrementar el contexto irrelevante, las pruebas duplicadas, los pasajes desactualizados y los documentos contradictorios.

La mejor pregunta es si la evidencia decisiva falta en la recuperación o si simplemente pierde influencia tras el ensamblaje del contexto. Si el pasaje correcto ya aparece en el conjunto de candidatos, aumentar top-k puede estar resolviendo el problema equivocado.

Agentes de ejecución prolongada: continuidad no es acumulación

Un agente necesita continuidad a lo largo de los pasos, pero la continuidad no requiere reproducir cada token anterior. OpenAI demuestra el recorte y la compresión para el contexto de sesiones de ejecución prolongada. Anthropic recomienda la compactación, la toma de notas estructurada y otras técnicas para preservar información útil mientras se controla la contaminación del contexto.

Una arquitectura sólida de ejecución prolongada suele separar la memoria duradera, el estado actual, los artefactos externos, la recuperación y el contexto orientado al modelo. Esto permite que el sistema preserve lo importante sin forzar cada detalle histórico en cada inferencia.

El orden del contexto debe ser intencional

La construcción del contexto es un problema de arquitectura de la información. Las instrucciones críticas, el estado actual, la evidencia decisiva y las restricciones específicas de la tarea no deben ubicarse de forma arbitraria. Cuando los sistemas concatenan fuentes mecánicamente, delegan implícitamente la priorización a los efectos posicionales y a la atención del modelo.

No existe un orden óptimo universal para cada modelo y tarea, por lo que el ordenamiento debe evaluarse empíricamente. Una suite de pruebas útil aleatoriza o varía sistemáticamente la posición de los documentos y mide si la misma afirmación se mantiene estable.

Preservar los límites de decisión durante la compactación

Un resumen que dice “usar el enfoque X” es más débil que un resumen que preserva por qué se eligió X y qué invalidaría la decisión. La compactación del contexto debe conservar las variables que pueden cambiar la respuesta: versión, fecha, suposiciones, estado, autoridad, desacuerdos no resueltos y procedencia de la evidencia.

Esto conecta la ingeniería de contexto directamente con la validez de la respuesta. Si la compactación preserva una conclusión pero elimina su límite de validez, las respuestas futuras pueden seguir siendo internamente consistentes mientras se vuelven externamente incorrectas.

Una política práctica de construcción de contexto

• Comenzar a partir de la tarea actual, no de todo lo que el sistema sabe.
• Volver a leer el estado volátil desde sistemas autoritativos antes de tomar decisiones trascendentales.
• Recuperar evidencia para la pregunta actual en lugar de arrastrar grandes corpus estáticos hacia adelante.
• Eliminar la salida de herramientas que sea duplicada o de bajo valor.
• Mantener la versión de origen, la marca de tiempo, la autoridad y la procedencia junto con la evidencia importante.
• Hacer explícita la precedencia cuando la información actual y la histórica entren en conflicto.
• Preservar las reglas junto con sus excepciones y prerrequisitos.
• Almacenar decisiones duraderas y procedimientos reutilizables fuera del contexto inmediato cuando no requieran una reproducción literal.
• Compactar el historial solo con pruebas que verifiquen la retención de restricciones, identificadores, excepciones y procedencia.
• Evaluar el tamaño del contexto, el orden y el ruido mediante ensayos repetidos en lugar de con un solo prompt.

¿Qué cambiaría esta respuesta?

El balance cambia según la arquitectura del modelo, el entrenamiento, el tipo de tarea y la longitud del contexto. Es posible que los modelos futuros se vuelvan sustancialmente más robustos ante la posición, el ruido y la información contradictoria. Una tarea con un corpus pequeño y limpio también puede beneficiarse de simplemente proporcionar la fuente completa en lugar de construir una elaborada canalización de recuperación.

La recomendación también cambia cuando la omisión es más peligrosa que el ruido. En tareas de investigación o descubrimiento de alto recuerdo (recall), puede estar justificado un contexto de candidatos más amplio antes de una fase posterior de filtrado o síntesis. En sistemas de producción sensibles a la latencia, puede ser preferible una selección de contexto más estricta.

El principio fundamental solo cambiaría si los modelos se volvieran fiablemente invariantes a la información irrelevante, la posición, la contradicción y la evidencia obsoleta. Hasta entonces, el contexto debe tratarse como un recurso de ejecución depurado en lugar de un almacenamiento pasivo.

Limitaciones

El comportamiento en contextos largos varía considerablemente según los modelos y las cargas de trabajo. Los experimentos originales de “Lost in the Middle” utilizaron generaciones anteriores de modelos, por lo que no debe asumirse que las magnitudes exactas de sus efectos representen a los sistemas actuales. El hallazgo sigue siendo útil como un patrón de fallo que poner a prueba, no como una curva de rendimiento fija y universal.

Asimismo, reducir el contexto puede eliminar evidencia necesaria. La compactación introduce riesgos de resumen, y un filtrado agresivo en la recuperación puede reducir el recuerdo. El objetivo no es minimizar los tokens a toda costa; es lograr un contexto suficiente, actualizado y trazable para la decisión que se está tomando.

Conclusión

La pregunta “¿Cuánto contexto puede aceptar el modelo?” es menos útil que “¿Cuánto de este contexto mejora la decisión?”. Más tokens pueden aportar evidencia, pero también pueden añadir distracción, contradicción, estado obsoleto, fragilidad posicional y deuda de compresión.

Trate el contexto como un conjunto de trabajo diseñado mediante ingeniería. Comience con la evidencia mínima suficiente. Añada información únicamente cuando mejore el rendimiento medido. Evalúe de forma explícita el ruido, el conflicto, el orden y la compactación. Una ventana de contexto amplia es capacidad; la calidad del contexto es arquitectura.

Preguntas frecuentes

Glosario

Fuentes primarias y lecturas complementarias