Zašto više konteksta može pogoršati AI odgovore

Veći kontekstni prozor pruža AI sistemu veći kapacitet. To ne garantuje da će model taj kapacitet dobro iskoristiti. U dugim razgovorima, RAG tokovima, istraživačkim agentima i radnim procesima sa intenzivnim korišćenjem alata, dodavanje više istorije, više dokumenata, više izlaznih podataka alata ili više memorije može učiniti odgovor manje pouzdanim, umesto bolje informisanim.

Kapacitet konteksta nije isto što i upotrebljivost konteksta

Deklarisani kontekstni prozor modela opisuje koliko ulaznih podataka on može da prihvati. To ne podrazumeva da svaki token unutar tog prozora dobija jednaku pažnju ili podjednako doprinosi konačnom odgovoru. Ova razlika je važna jer produkcioni sistemi sve više popunjavaju kontekst istorijom razgovora, preuzetim dokumentima, rezultatima alata, memorijom, struktuiranim stanjem, instrukcijama i međuproduktima.

Klasična studija „Lost in the Middle“ pokazala je da modeli sa dugim kontekstom mogu imati lošije rezultate kada se relevantni dokazi nalaze u sredini dugog unosa nego kada se nalaze blizu početka ili kraja. Šira inženjerska pouka nije da je dugi kontekst loš. Ona glasi da dostupnost unutar konteksta nije isto što i pouzdana upotreba.

Smernice kompanije OpenAI za upravljanje kontekstom dolaze do istog operativnog zaključka iz drugog pravca: čak i veoma veliki kontekstni prozori mogu biti preopterećeni neprobranom istorijom, suvišnim izlaznim podacima alata i bučnim preuzimanjem podataka. Anthropic na sličan način tretira kontekst kao ograničen resurs koji zahteva aktivni inženjering, a ne pasivno nagomilavanje.

Pet načina na koje dodatni kontekst može umanjiti kvalitet odgovora

1. Razblaživanje signala: relevantni dokazi se takmiče sa svim ostalim

Pretpostavimo da se na pitanje može odgovoriti na osnovu dva kratka odlomka. RAG sistem preuzima ta dva odlomka plus osamnaest labavo povezanih „za svaki slučaj“. Odziv preuzimanja se može poboljšati, ali generator sada mora da razlikuje ključne dokaze od pozadinskog materijala. Ako se slične fraze pojavljuju u više dokumenata, dodatni kontekst može učiniti odgovor manje preciznim.

Ovo stvara važnu razliku između odziva preuzimanja i korisnosti konteksta. Više preuzetog materijala može povećati verovatnoću da odgovor postoji negde u kontekstu, dok istovremeno smanjuje verovatnoću da model pravim dokazima dodeli dovoljnu težinu.

2. Konflikt dokaza: više izvora može značiti više verzija realnosti

Dugi konteksti često sadrže međusobno neusklađene informacije: staru i novu API dokumentaciju, dve verzije pravilnika, prethodne i trenutne korisničke preferencije, konkurentne veb izvore, keširano stanje ili rezime koji je generisao model, a koji više ne odgovara izvoru.

Ovaj propust nije nužno halucinacija. Model možda verno kombinuje kontradiktorne dokaze. Arhitekturi su stoga potrebna pravila prioriteta: autoritet izvora, verzija, vremenska oznaka, jurisdikcija, korisnik sistema (tenant), revizija proizvoda, stanje korisnika ili eksplicitni metapodaci o zameni starih podataka novim.

Bez tih pravila, povećanje konteksta može povećati kontradiktornosti brže nego što povećava znanje.

3. Osetljivost na poziciju: mesto gde se dokaz pojavljuje može promeniti rezultat

Rezultati istraživanja „Izgubljeni u sredini” (Lost in the Middle) pokazali su da samo promena pozicije relevantnih informacija može materijalno promeniti performanse modela. To saznanje je posebno važno za sisteme koji spajaju mnoge pronađene odlomke ili dugačke istorijate u fiksnom redosledu.

Produkcioni test bi stoga trebalo da varira redosled dokumenata, a ne samo da testira jedan kanonski upit. Ako sistem tačno odgovara samo kada je odlučujući dokaz na početku ili na kraju, aplikacija je krhkija nego što to sugeriše jedan rezultat na benčmarku.

4. Postojanost zastarelog konteksta: model vidi istinu i istorijat zajedno

Dugotrajni agenti često prenose ranije zaključke unapred. Taj kontinuitet je koristan sve dok se neka činjenica ne promeni. Ako jučerašnji rezultat alata kaže da je implementacija u dobrom stanju, a trenutni rezultat alata kaže da je degradirana, oba mogu ostati u kontekstu osim ako sistem eksplicitno ne zameni ili ograniči opseg starog stanja.

Zato bi trenutno operativno stanje obično trebalo da potiče iz autoritativnog izvora, dok memorija čuva trajni kontekst kao što su odluke, preferencije ili procedure. Veća istorija razgovora nije zamena za ponovno sagledavanje sadašnjosti.

5. Gubitak pri kompresiji: manji kontekst takođe može postati lošiji kontekst

Suprotna intervencija — kompresovanje konteksta — takođe ima svoje načine otkazivanja. Sažeci mogu izostaviti izuzetke, nerešena pitanja, poreklo, precizne identifikatore, negativne dokaze ili uslove pod kojima je zaključak bio validan.

Rad Microsoft Research-a pod nazivom Agentic Context Engineering opisuje srodan problem kao pristrasnost ka sažetosti i kolaps konteksta: iterativno prepisivanje može ukloniti korisne detalje domena. Cilj stoga nije „kompresovati što je više moguće”. Cilj je smanjiti kontekst uz očuvanje informacija koje menjaju odluke.

Model kvaliteta konteksta

Koristan kontekst se može proceniti kroz šest dimenzija. Nijedna od njih nije prosto broj tokena.

Test pritiska na kontekst

Da biste utvrdili da li aplikacija ima koristi od više konteksta, testirajte veličinu konteksta kao eksperimentalnu varijablu umesto da pretpostavljate da je veće uvek bolje.

Šta meriti umesto broja tokena

RAG: zašto povećanje parametra top-k može da škodi

Uobičajeni obrazac za fino podešavanje RAG-a jeste povećanje parametra top-k kada sistem propusti odgovor. To može poboljšati odziv kandidata (recall), ali takođe može povećati količinu irelevantnog konteksta, dupliranih dokaza, zastarelih odlomaka i protivrečnih dokumenata.

Bolje pitanje je da li ključni dokaz nedostaje u pretrazi ili samo gubi uticaj nakon sklapanja konteksta. Ako se tačan odlomak već nalazi u skupu kandidata, povećanje parametra top-k može predstavljati rešavanje pogrešnog problema.

Dugotrajni agenti: kontinuitet nije akumulacija

Agentu je potreban kontinuitet kroz korake, ali kontinuitet ne zahteva ponavljanje svakog prethodnog tokena. OpenAI demonstrira skraćivanje i kompresiju za kontekst dugotrajnih sesija. Anthropic preporučuje sabijanje (kompakciju), strukturisano vođenje beleški i druge tehnike kako bi se sačuvale korisne informacije uz kontrolu zagađenja konteksta.

Snažna arhitektura za dugotrajne procese obično razdvaja trajnu memoriju, trenutno stanje, spoljne artefakte, pretragu i kontekst namenjen modelu. To omogućava sistemu da sačuva ono što je važno, a da pritom ne ubacuje svaki istorijski detalj u svako zaključivanje.

Redosled u kontekstu treba da bude nameran

Konstrukcija konteksta predstavlja problem informacione arhitekture. Ključna uputstva, trenutno stanje, odlučujući dokazi i ograničenja specifična za zadatak ne bi trebalo da budu nasumično raspoređeni. Kada sistemi mehanički spajaju izvore, oni implicitno prepuštaju određivanje prioriteta pozicionim efektima i pažnji modela.

Ne postoji univerzalno najbolji redosled za svaki model i zadatak, pa bi redosled trebalo empirijski procenjivati. Koristan skup testova nasumično raspoređuje ili sistematski menja poziciju dokumenta i meri da li ista tvrdnja ostaje stabilna.

Očuvajte granice odlučivanja tokom sabijanja

Sažetak koji glasi „koristite pristup X“ slabiji je od sažetka koji čuva razlog zašto je X izabran i šta bi poništilo tu odluku. Sabijanje konteksta treba da zadrži varijable koje mogu promeniti odgovor: verziju, datum, pretpostavke, stanje, autoritet, nerešena neslaganja i poreklo dokaza.

Ovo direktno povezuje inženjering konteksta sa validnošću odgovora. Ako se sabijanjem sačuva zaključak, ali se ukloni granica njegove validnosti, budući odgovori mogu ostati interno dosledni, a da pritom postanu eksterno netačni.

Praktična politika konstrukcije konteksta

• Počnite od trenutnog zadatka, a ne od svega što sistem zna.
• Ponovo pročitajte promenljivo stanje iz merodavnih sistema pre donošenja važnih odluka.
• Pretražujte dokaze za trenutno pitanje umesto da sa sobom prenosite velike statičke korpuse.
• Uklonite duplirane ili bezvredne izlaze iz alata.
• Zadržite verziju izvora, vremensku oznaku, autoritet i poreklo uz važne dokaze.
• Jasno odredite prioritet kada su trenutne i istorijske informacije u sukobu.
• Sačuvajte pravila zajedno sa njihovim izuzecima i preduslovima.
• Čuvajte trajne odluke i višekratne procedure van neposrednog konteksta kada nije potrebno njihovo doslovno ponavljanje.
• Sabijajte istoriju samo uz testove za zadržavanje ograničenja, identifikatora, izuzetaka i porekla.
• Procenjujte veličinu konteksta, redosled i šum kroz ponovljene probe, a ne na osnovu jednog upita.

Šta bi promenilo ovaj odgovor?

Kompromis se menja u zavisnosti od arhitekture modela, obuke, tipa zadatka i dužine konteksta. Budući modeli mogu postati znatno otporniji na poziciju, šum i kontradiktorne informacije. Zadatak sa malim, čistim korpusom takođe može imati koristi od jednostavnog pružanja kompletnog izvora umesto izgradnje složenog mehanizma za preuzimanje (retrieval pipeline).

Preporuka se takođe menja kada je izostavljanje opasnije od šuma. U istraživačkim zadacima ili zadacima otkrivanja sa visokim odzivom (high-recall), veći kandidatski kontekst može biti opravdan pre kasnije faze filtriranja ili sinteze. U produkcionim sistemima osetljivim na latenciju, striktniji odabir konteksta može biti poželjniji.

Osnovni princip bi se promenio samo ako bi modeli postali pouzdano invarijantni na irelevantne informacije, poziciju, protivrečnosti i zastarele dokaze. Do tada, kontekst treba tretirati kao pažljivo odabran resurs za izvršavanje, a ne kao pasivno skladište.

Ograničenja

Ponašanje u dugom kontekstu znatno varira među modelima i radnim opterećenjima. Prvobitni eksperimenti „Lost in the Middle” koristili su ranije generacije modela, pa se ne sme pretpostaviti da njihove tačne veličine efekta predstavljaju današnje sisteme. Nalaz ostaje koristan kao obrazac otkaza koji treba testirati, a ne kao univerzalna fiksna kriva performansi.

Isto tako, smanjenje konteksta može ukloniti neophodne dokaze. Zbijanje (kompaktovanje) uvodi rizik sažimanja, a agresivno filtriranje preuzimanja može smanjiti odziv. Cilj nije minimalan broj tokena po svaku cenu; cilj je dovoljan, aktuelan i sledljiv kontekst za odluku koja se donosi.

Zaključak

Pitanje „Koliko konteksta model može da primi?” manje je korisno od pitanja „Koliko ovog konteksta poboljšava odluku?” Više tokena može dodati dokaze, ali takođe može uneti ometanja, protivrečnosti, zastarelo stanje, pozicionu ranjivost i dug kompresije.

Tretirajte kontekst kao projektovani radni skup. Počnite sa minimalnim dovoljnim dokazima. Dodajte informacije samo kada poboljšavaju izmerene performanse. Eksplicitno testirajte šum, konflikt, redosled i sažimanje. Veliki kontekstualni prozor je kapacitet; kvalitet konteksta je arhitektura.

Često postavljana pitanja

Rečnik pojmova

Primarni izvori i dodatna literatura