Invarijantnost prompta: Da li zaključak preživljava prompt?

Ako sam prompt može da utiče na rezonovanje AI modela, onda evaluacija zaključka dobijenog samo na osnovu jednog prompta ostavlja važnu varijablu nekontrolisanom.

Prirodan odgovor je prepisati prompt i pokušati ponovo. Ali jednostavno ponavljanje nije dovoljno. Različite formulacije mogu da proizvedu različit jezik uz očuvanje istog rezonovanja, a identični zaključci mogu da opstanu kroz različite promptove iz pogrešnih razloga.

Ono što je potrebno jeste strukturisani test da li suštinski zaključak prekomerno zavisi od okvira koji ga je proizveo.

Koristim termin invarijantnost na prompt za praktični test robusnosti: da li suštinski zaključak ostaje odbranjiv kada se isti problem i dokazi ispitaju pod materijalno različitim legitimnim okvirima?

Invarijantnost na prompt ovde se ne predlaže kao ustanovljena akademska metrika, matematička invarijanta ili dokaz da je odgovor istinit. To je operativna metodologija za otkrivanje jedne posebne slabosti u rezonovanju uz pomoć AI: zaključaka koji previše zavise od toga kako je originalni korisnik formulisao problem.

Ona proširuje okvir predstavljen u Izvan prompt inženjeringa: metodologija za pouzdanije rezonovanje uz pomoć AI i direktno se bavi problemom zavisnosti od prompta razmatranim u Prompt je deo pristrasnosti.

Problem: jedan prompt proizvodi jedan uslovni rezultat

AI odgovor se ne generiše samo iz pitanja. On se generiše iz kompletnog konteksta zaključivanja: formulacije pitanja, prethodne konverzacije, dostavljenih dokaza, sistemskih instrukcija, primera, redosleda, oznaka, tražene perspektive i konfiguracije modela.

Odgovor bi stoga trebalo razumeti kao uslovan u odnosu na to okruženje.

Odgovor = Model(problem | okvir, kontekst, dokazi, instrukcije)

Za obične zadatke ova razlika može biti nevažna. Ako je zadatak da se sažme pasus ili konvertuje jedinica, obično nema mnogo vrednosti u konstruisanju nekoliko nezavisnih okruženja za rezonovanje.

Za istraživanje, složenu tehničku dijagnostiku, arhitektonske odluke, stratešku analizu i druge zadatke gde je samo rezonovanje važno, situacija se menja. Zaključak bi idealno trebalo da bude podržan dokazima, a ne slučajnim svojstvom prompta koji je uneo dokaze.

Invarijantnost na prompt nije tekstualna konzistentnost

Prva razlika je suštinska: invarijantnost na prompt ne zahteva da model proizvede isti tekst.

Dva odgovora mogu da koriste potpuno različite formulacije, a da dođu do istog zaključka zasnovanog na dokazima. Obrnuto, dva odgovora mogu da sadrže skoro identične zaključke, a da se oslanjaju na različite pretpostavke ili nekompatibilne dokaze.

Relevantni objekat stoga nije leksička sličnost. To je stabilnost strukture rezonovanja.

• Stabilnost činjenica: koji osnovni činjenični nalazi opstaju kroz različite formulacije?
• Stabilnost dokaza: koji izvori ili zapažanja ostaju odlučujući?
• Stabilnost hipoteza: koja konkurentska objašnjenja ostaju verodostojna ili bivaju odbačena?
• Stabilnost zaključka: da li isti opšti zaključak ostaje najbolje potkrepljen?
• Stabilnost pouzdanosti: da li se procenjena snaga zaključka bitno menja?
• Stabilnost uzročnosti: da li isti uzročni ili prenosni odnosi opstaju kada se okvir promeni?

Ova razlika takođe izbegava metodološku grešku identifikovanu u nedavnim istraživanjima o osetljivosti na prompt. Neka prividna osetljivost može biti preuveličana rigidnim metodama evaluacije koje semantički ekvivalentne odgovore klasifikuju kao različite samo zato što koriste različite oblike izražavanja.

Jedinica poređenja bi stoga trebalo da bude značenje i dokazna struktura odgovora, a ne doslovna jednakost teksta.

Test invarijantnosti upita u četiri prolaza

Osnovni metod koristi četiri namerno različita prolaza rezonovanja kroz isto osnovno istraživačko pitanje.

Prolaz 1 — Originalni

Prvi prolaz zadržava korisnikovu originalnu formulaciju, uključujući korisnikovu hipotezu kada je ona izričito navedena.

Njegova svrha nije samo generisanje početnog odgovora. On takođe uspostavlja osnovu sa kojom se kasniji prolazi mogu uporediti.

Primer: Koji dokazi podržavaju hipotezu da je tradicija A uticala na tradiciju B?— Originalno uokvirivanje

Ova formulacija je legitimna ako je istraživački zadatak izričito ispitivanje te hipoteze. Međutim, ona već usmerava pažnju ka određenom odnosu.

Prolaz 2 — Slepi

Slepi prolaz uklanja korisnikov očekivani zaključak iz definicije zadatka.

Primer: Na osnovu dostupnih dokaza, koji odnos, ukoliko uopšte postoji, između tradicije A i tradicije B ima najjaču potporu?— Slepo uokvirivanje

Dokazi se nisu promenili. Ono što se menja jeste početno usmeravanje pažnje.

Direktan uticaj, indirektan uticaj, nezavisna konvergencija, kasnija reinterpretacija i odsustvo dokazivog odnosa sada mogu ući u analizu a da nijedna od ovih opcija ne dobije povlašćen status od strane korisnika.

Prolaz 3 — Obrnuti

Obrnuti prolaz namerno postavlja snažno alternativno objašnjenje na mesto koje je prethodno zauzimala hipoteza kojoj je korisnik davao prednost.

Primer: Testirajte hipotezu da su se sličnosti između tradicije A i tradicije B razvile nezavisno, a ne putem direktnog prenosa.— Obrnuto uokvirivanje

Cilj nije navesti model da protivreči samom sebi. Niti se pretpostavlja da je alternativa tačna.

Cilj je simetrija: ako postavljanje hipoteze kao početne tvrdnje donosi veštačku prednost, davanjenajjače alternative iste te prednosti može se razotkriti ta zavisnost.

Prolaz 4 — Suprotstavljeni

Suprotstavljeni prolaz počinje nakon što se već formirao privremeni zaključak.

Konstruišite najjači izazov privremenom zaključku zasnovan na dokazima. Identifikujte nepodržane pretpostavke, protivrečne dokaze, alternativna uzročna objašnjenja i zapažanja koja trenutno objašnjenje loše rešava.— Suprotstavljeno uokvirivanje

Ovo nije generički kontrarizam. Suprotstavljeni prolaz mora ostati vezan za dokaze.

Prigovor dobija na težini zato što ukazuje na dokaznu slabost, a ne samo zato što se ne slaže sa trenutnim odgovorom.

Dokazi se moraju kontrolisati

Postoji metodološka komplikacija koja postaje kritična kada model ima pristup internet pretrazi, RAG-u, bazama podataka ili drugim sistemima za preuzimanje informacija.

Ako svaki prompt preuzme drugačiji skup izvora, promenjeni zaključak može imati najmanje dva objašnjenja:

1. rezonovanje se promenilo zato što se promenilo uokvirivanje prompta;
2. rezonovanje se promenilo zato što su se promenile informacije dostupne modelu.

Te efekte ne treba mešati.

Za kontrolisano testiranje invarijantnosti prompta, najjači dizajn stoga zamrzava korpus dokaza pre pokretanja varijanti uokvirivanja.

Isto pitanje + isti dokazi + različito legitimno uokvirivanje— Kontrolisana invarijantnost prompta

Ovo efikasnije izoluje osetljivost rezonovanja.

Drugi eksperiment može namerno ostaviti preuzimanje informacija omogućenim. To meri nešto drugo: robusnost kompletnog toka istraživanja veštačke inteligencije.

• Invarijantnost fiksiranog korpusa: testira sloj rezonovanja držeći dokaze konstantnim.
• Invarijantnost koja uključuje preuzimanje: testira da li uokvirivanje menja i ono što sistem preuzima i ono što zaključuje.

Oba su korisna. Ona odgovaraju na različita pitanja.

Šta bi trebalo uporediti?

Ručno poređenje četiri dugačka odgovora na prirodnom jeziku je neefikasno i nepouzdano. Rezultate bi zato trebalo normalizovati u zajedničku analitičku strukturu.

Svaki prolaz može vratiti ista polja:

• Utvrđene činjenice
• Relevantni izvori ili zapažanja
• Pretpostavke
• Kandidatske hipoteze
• Dokazi koji podržavaju svaku hipotezu
• Dokazi koji protivreče svakoj hipotezi
• Nerešena pitanja
• Privremeni zaključak
• Nivo pouzdanosti i razlozi za tu pouzdanost

Faza poređenja zatim procenjuje strukturu pre nego sam tekst.

Ako sva četiri prolaza koriste drugačiji jezik, ali zadržavaju iste ključne dokaze, eliminišu iste alternative i konvergiraju ka istom kvalifikovanom zaključku, rezultat pokazuje znatno veću robusnost uokvirivanja od zaključka dobijenog samo na osnovu jednog upita.

Ako se preferirano objašnjenje menja svaki put kada se promeni uokvirivanje, zaključak treba oslabiti sve dok se ne razume izvor te nestabilnosti.

Četiri različita oblika stabilnosti

Invarijantnost upita postaje korisnija kada se stabilnost ne svodi na jednostavan odgovor sa „da” ili „ne”.

Invarijantnost dokaza

Da li isti dokazi ostaju važni bez obzira na to koju hipotezu upit stavlja u prvi plan?

Ako se jedan izvor smatra odlučujućim samo kada upit favorizuje jedno objašnjenje, njegova uloga zahteva pažljivije ispitivanje.

Invarijantnost hipoteza

Da li se iste verodostojne alternative pojavljuju u svim prolazima?

Hipoteza koja se pojavljuje samo kada je korisnik eksplicitno navede i dalje može biti tačna, ali njeno odsustvo iz slepe analize je metodološki relevantno.

Invarijantnost zaključka

Da li isti opšti zaključak ostaje najbolje objašnjenje i nakon promene uokvirivanja?

Ovo ne zahteva identičnu formulaciju. „Direktan prenos ima snažnu podršku” i „dostupni dokazi favorizuju direktan prenos u odnosu na nezavisnu konvergenciju” pripadaju istoj opštoj klasi zaključaka.

Invarijantnost pouzdanosti

Da li nivo pouzdanosti ostaje približno stabilan?

Model koji izražava 90% pouzdanosti pod prvobitnim uokvirivanjem, a postaje duboko nesiguran pod slepom formulacijom, otkrio je nešto važno čak i ako njegov nominalni zaključak ostaje nepromenjen.

Matrica invarijantnosti upita

Za složena istraživanja, ova četiri prolaza mogu se sažeti u jednostavnu matricu.

Matrica ne mora da daje numerički rezultat. Njena primarna svrha je dijagnostička: učiniti zavisnosti vidljivim.

Numeričko ocenjivanje se može dodati za automatizovane sisteme, ali takve ocene ne bi trebalo predstavljati kao naučno potvrđene metrike osim ako i same nisu empirijski validirane.

Zašto jednostavno parafraziranje nije dovoljno

Nedavna istraživanja pružaju korisne dokaze da semantički ekvivalentne formulacije upita ponekad mogu dovesti do različitih procena modela.

Studija Alhetelaha i Ahmada iz 2026. godine ispitala je 200 pitanja o mišljenju, svako sa po pet parafraza koje su potvrdili ljudi, na pet jezičkih modela u determinističkim uslovima. Modeli su se razlikovali po tome koliko su njihove odluke ostale stabilne pri parafraziranju.

Taj rezultat podržava testiranje robusnosti upita, ali invarijantnost upita ide dalje od testiranja parafraziranjem.

Parafraza idealno čuva i semantiku i uokvirivanje. Metodologija koja se ovde predlaže namerno menja odabrane delove uokvirivanja, uz očuvanje osnovnog istraživačkog problema.

Testiranje parafraziranjem postavlja pitanje da li ekvivalentna formulacija menja odgovor. Invarijantnost upita postavlja pitanje da li legitimna promena perspektive menja ono što model smatra da dokazi podržavaju.

Ovo drugo predstavlja jaču metodološku intervenciju.

Nestabilnost nije automatski neuspeh modela

Osetljivost na upite mora se pažljivo tumačiti.

Hua i saradnici su ponovo ispitali osetljivost na upite na sedam jezičkih modela, šest referentnih vrednosti i dvanaest šablona upita. Njihova studija iz 2025. godine otkrila je da se deo prethodno prijavljene osetljivosti može pripisati procedurama evaluacije, kao što je kruto usklađivanje odgovora, a ne suštinskim promenama u tačnosti modela.

Upravo zato invarijantnost upita ne bi trebalo da poredi samo površinsku formu.

Promenjena rečenica ne znači nužno i promenjen zaključak. Promenjen zaključak takođe nije nužno greška.

Nestabilnost može otkriti nekoliko fundamentalno različitih situacija:

• prvobitni prompt je sadržao pristrasnost u formulaciji;
• osnovni problem je suštinski dvosmislen;
• dostupni dokazi podržavaju nekoliko konkurentnih tumačenja;
• preuzimanje podataka je pružilo drugačije dokaze;
• metoda evaluacije je netačno klasifikovala ekvivalentne odgovore kao različite;
• stohastičko generisanje je proizvelo drugačiji tok zaključivanja;
• jedna formulacija je otkrila validno razmatranje koje su ostale izostavile.

Invarijantnost prompta stoga nije test u kojem se varijacija automatski smatra neuspehom. Varijacija je dijagnostički signal koji zahteva objašnjenje.

Stabilnost nije automatski istina

Suprotna greška je još važnija.

Pretpostavimo da originalni, slepi, invertovani i adverzarijalni prolazi konvergiraju ka istom zaključku.

To je dokaz robusnosti u odnosu na testirane promene u formulaciji. To nije dokaz istine.

Svi prolazi mogu deliti iste informacije koje nedostaju. Model može imati istu činjeničnu grešku u svakom pokretanju. Korpus dokaza može biti nepotpun. Različiti promptovi mogu aktivirati istu usvojenu zabludu. Više agenata izgrađenih na istom osnovnom modelu može reprodukovati istu grešku.

Invarijantnost prompta testira zavisnost od formulacije. Ona ne validira sam model sveta.

Spoljni dokazi, kritika izvora, merenja, eksperimenti i stručnost u domenu ostaju neophodni gde god problem to zahteva.

Tehnički primer

Uzmimo u obzir produkcioni sistem koji povremeno gubi API veze.

Početna hipoteza programera jeste da nginx prekida veze.

Original: Analizirajte zašto nginx prekida ove API veze.

Slepi: Analizirajte logove i konfiguraciju i utvrdite najverovatniji uzrok prekida API veza.

Invertovani: Testirajte da li prekidi veze potiču iz aplikacije, upstream servisa ili mrežnog sloja, a ne iz nginx-a.

Adverzarijalni: Pretpostavite da je trenutna dijagnoza za nginx pogrešna. Identifikujte najjače dokaze koji joj protivreče i zapažanja koja druga hipoteza bolje objašnjava.

Ako svi prolazi nezavisno konvergiraju ka istoj konfiguraciji nginx vremenskog ograničenja (timeout) i istim dokazima iz logova, poverenje u dijagnozu raste.

Ako samo originalni upit identifikuje nginx dok slepa analiza ukazuje na resetovanja uzvodnog servera (upstream resets), prva dijagnoza se ne bi trebala jednostavno sačuvati samo zato što se prva pojavila.

Metodologija nije sama po sebi rešila problem otklanjanja grešaka. Ona je otkrila gde su potrebni dalji diskriminativni testovi.

Primer istorijskog istraživanja

Ista struktura se primenjuje i na istorijska istraživanja, ali se validatori menjaju.

Navodni intelektualni ili religijski prenos zahteva više od tematske sličnosti. Hronologija, geografija, dokumentovani kontakt, tekstualna zavisnost, posrednici i provenijencija mogu biti od ključnog značaja.

Četiri prolaza invarijantnosti upita mogu utvrditi da li hipoteza o prenosu ostaje poželjna pod alternativnim uokvirivanjem. Oni ne mogu zameniti istorijske dokaze potrebne da se sam prenos dokaže.

Ova razlika ilustruje odnos između okvira rezonovanja nezavisnog od domena i validatora specifičnih za domen, koji je detaljnije razvijen u članku From Research Protocol to General AI Reasoning Framework.

Invarijantnost upita i falsifikacija

Invarijantnost upita i falsifikacija rešavaju srodne, ali različite probleme.

Invarijantnost upita postavlja pitanje:

Da li zaključak opstaje nakon značajne promene u uokvirivanju?

Falsifikacija postavlja pitanje:

Koji dokaz ili opažanje bi trebalo da nas navede da odbacimo ili znatno oslabimo hipotezu?

Robusna metodologija zahteva i jedno i drugo.

Hipoteza može biti invarijantna na upit zato što model iznova reprodukuje istu zabludu. Falsifikacija uvodi stroži zahtev: identifikujte opažanja koja bi svedočila protiv nje i aktivno tragajte za njima.

Taj sledeći nivo razvijen je u članku Falsification for AI Reasoning: From Answers to Tested Hypotheses.

Od četiri upita do arhitekture verifikacije

Proces u četiri koraka može se sprovoditi ručno, ali postaje znatno zanimljiviji kada se implementira kao deo sistema veštačke inteligencije.

Ulaz → normalizacija dokaza → originalni prolaz → slepi prolaz → invertovani prolaz → adversarijalni prolaz → strukturisano poređenje → rekalibracija pouzdanosti → konačna sinteza

Pojedinačni prolazi mogu koristiti zasebne kontekste kako kasnije analize ne bi bile kontaminirane prethodnim odgovorom. Njihovi izlazi se mogu sačuvati kao strukturisani podaci umesto kao prozni tekst. Konačni verifikator može uporediti činjenice, dokaze, hipoteze i nivo pouzdanosti pre nego što se generiše odgovor namenjen korisniku.

Rezultat više nije pojedinačni odgovor modela. To je mali proces verifikacije.

Arhitektonska implementacija ovog pristupa razvijena je u tekstu Designing an Epistemic Verification Layer for LLMs.

Kada je invarijantnost prompta vredna troška

Izvršavanje nekoliko analitičkih prolaza iziskuje dodatne tokene, latenciju i računarske resurse. To ne bi trebalo da postane ritualno opterećenje za svaku interakciju.

Metoda je najvrednija kada važi jedan ili više sledećih uslova:

• korisnik već ima snažnu preferiranu hipotezu;
• nekoliko uverljivih objašnjenja se međusobno takmiči;
• zaključak će uticati na važnu tehničku ili stratešku odluku;
• istraživačko pitanje je kontroverzno ili su dokazi nepotpuni;
• uzročno-posledične tvrdnje se izvode iz posrednih dokaza;
• model deluje kao procenitelj, sudija ili sistem za podršku odlučivanju;
• trošak samouverenog, ali pristrasno uokvirenog odgovora materijalno je veći od troška dodatnog zaključivanja.

Za jednostavne determinističke zadatke, dodatni proces možda gotovo i ne donosi nikakvu vrednost.

Metodološki princip

Snažan prompt ostaje koristan. Ali snažan prompt ne treba mešati sa nezavisnom verifikacijom zaključka koji proizvodi.

Invarijantnost prompta dodaje drugi nivo preispitivanja.

Nemojte se samo pitati da li je odgovor ubedljiv. Zapitajte se koji delovi odgovora opstaju kada se promene uslovi koji su ga učinili ubedljivim.

Ako činjenice, struktura dokaza i zaključak prežive slepe, invertovane i adversarijalne formulacije, rezultat je pokazao otpornost na jedan važan izvor grešaka u rasuđivanju veštačke inteligencije.

Ako ne prežive, metodologija je ipak uspela.

Pokazala je da je prvobitni zaključak bio znatno zavisniji od sopstvenog uokvirivanja nego što bi to jedan doterani odgovor ikada otkrio.

Cilj invarijantnosti prompta nije slaganje između promptova. Cilj je razotkriti koji zaključci zavise od njih.

Istraživački kontekst

Invarijantnost upita, kako je definisana u ovom članku, predloženi je metodološki konstrukt, a ne standardizovano merilo iz literature. Zasnovana je na nekoliko srodnih oblasti istraživanja: arhitekturi upita, robusnosti na parafraze, pozicionoj pristrasnosti i proceni osetljivosti na upite.

Bruks (Brucks) i Tubija (Toubia) su pokazali da redosled, oznake, uokvirivanje i obrazloženje mogu proizvesti sistematske metodološke artefakte u odgovorima LLM-ova. Šilher (Schilcher) i kolege su zasebno ispitivali pozicione efekte na više modela i otkrili da redosled unosa može uticati na strukturne karakteristike, koherentnost i, kod nekih modela, na izostavljanje sadržaja ili promenu redosleda.

Alhetelah i Ahmad su testirali pet modela koristeći 200 pitanja o stavovima sa po pet ljudski verifikovanih parafraza, pokazujući značajne razlike u robusnosti prema semantički ekvivalentnim formulacijama. Hua i kolege pružaju važnu protivtežu: njihova procena na sedam modela, šest referentnih vrednosti i dvanaest šablona upita otkrila je da deo prividne osetljivosti na upite može poticati iz same metodologije evaluacije, a ne iz stvarnih promena u kompetenciji modela.

Zajedno, ovi nalazi podržavaju testiranje robusnosti kroz različite formulacije upita, ali istovremeno zahtevaju oprez u načinu na koji se razlike mere i interpretiraju.

Odabrane reference

• Alhetelah, B. & Ahmad, I. — Measuring LLMs' Sensitivity to Paraphrased Opinion Prompts. WASSA / ACL, 2026.
• Hua, A., Tang, K., Gu, C., Gu, J., Wong, E. & Qin, Y. — Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs. EMNLP, 2025.
• Brucks, M. S. & Toubia, O. — Prompt Architecture Induces Methodological Artifacts in Large Language Models. PLOS ONE, 2025.
• Schilcher, P. et al. — Characterizing Positional Bias in Large Language Models: A Multi-Model Evaluation of Prompt Order Effects. Findings of EMNLP, 2025.
• Pezeshkpour, P. & Hruschka, E. — Large Language Models Sensitivity to the Order of Options in Multiple-Choice Questions. Findings of NAACL, 2024.

Nastavite serijal

• Beyond Prompt Engineering: A Methodology for More Reliable AI Reasoning — kompletan metodološki okvir.
• The Prompt Is Part of the Bias — zašto uokvirivanje, praćenje instrukcija i pretpostavke korisnika mogu uticati na AI rezonovanje.
• Falsification for AI Reasoning: From Answers to Tested Hypotheses — utvrđivanje koji dokazi bi zapravo mogli oslabiti ili odbaciti hipotezu.
• From Research Protocol to General AI Reasoning Framework — primena metodologije kroz istraživanje, debagovanje, arhitekturu i strategiju.