Иза инжењеринга упита: методологија за поузданије закључивање вештачке интелигенције

Prompt inženjering se obično posmatra kao veština postavljanja boljih pitanja modelu. To je korisno, ali rešava samo deo problema. Dobro napisan prompt može poboljšati relevantnost, strukturu i usklađenost sa zadatkom, a da pritom ne učini dobijeni zaključak epistemološki robusnim.

Dublji problem je u tome što veliki jezički model ne rezonuje nezavisno od prompta koji ga aktivira. Formulacija, uokvirivanje, redosled, pretpostavke ugrađene u zahtev i eksplicitno izražen stav korisnika mogu uticati na to koji delovi internog znanja modela postaju dominantni u generisanom odgovoru.

To znači da poboljšanje rezonovanja AI zahteva više od boljih instrukcija. Zahteva metodologiju koja sam prompt tretira kao potencijalni izvor pristrasnosti i podvrgava zaključak modela strukturisanoj verifikaciji.

Cilj nije učiniti model inteligentnijim. Cilj je koristiti inteligenciju koja mu je već dostupna na rigorozniji način.

Sposobnost nije isto što i disciplina rezonovanja

Savremeni modeli rezonovanja mogu da razlože složene zadatke, uporede alternative, ispitaju dokaze, identifikuju kontradikcije i revidiraju zaključke. Ali posedovanje ovih sposobnosti ne znači da će svaki odgovor automatski koristiti sve njih.

AI asistent opšte namene mora da radi na radikalno različitim zadacima i za različite korisnike. Jedan korisnik želi izračunavanje. Drugi želi da mu se prepiše kratka poruka. Treći očekuje otklanjanje grešaka u softveru. Četvrti očekuje istorijsko ili naučno istraživanje. Primena maksimalnog protokola testiranja hipoteza na svaki zahtev često bi povećala latenciju, opširnost i kognitivno opterećenje bez poboljšanja stvarne korisnosti odgovora.

Shodno tome, centralno pitanje nije samo da li model može da izvrši rigorozno rezonovanje. Važnije pitanje je pod kojim uslovima se ta sposobnost sistematski aktivira, izaziva i verifikuje.

Prompt nije neutralni interfejs

Istraživanja su više puta pokazala da naizgled sekundarne karakteristike promptova mogu uticati na izlaze modela. Redosled prompta, oznake, uokvirivanje i zahtevi za obrazloženjem pokazali su se kao izvori merljivih metodoloških artefakata. Odvojeno istraživanje o ulizivanju pokazalo je da jezički modeli ponekad mogu prilagoditi svoje odgovore stavovima koje izražava korisnik, umesto da zadrže potpuno nezavisnu evaluaciju.

To ne znači da se svaki model samo slaže sa svojim korisnikom, niti da svaki prompt kontaminira svaki zaključak. Znači nešto preciznije: prompt čini deo inferencijalnog okruženja. Zato se ne može automatski pretpostaviti da je zaključak dobijen pod jednim uokvirivanjem invarijantan pod drugim.

Posledice te razlike razmatraju se odvojeno u tekstu Prompt je deo pristrasnosti, gde se uokvirivanje prompta, praćenje instrukcija i ponašanje slaganja modela tretiraju kao metodološki problem, a ne samo kao problem promptovanja.

Od prompt inženjeringa do epistemičkog procesa

Tradicionalni prompt inženjering prvenstveno optimizuje ulaz. Metodologija koja se ovde predlaže umesto toga strukturira kompletan put od pitanja do zaključka.

Pojednostavljeni oblik tog procesa može se predstaviti kao:

Problem → dekompozicija → dokazi → konkurentske hipoteze → protivdokazi → pokušaji falsifikacije → sinteza → provera uokvirivanja → kalibrisani zaključak

Važna razlika je u tome što se prvi koherentan odgovor više ne tretira kao krajnja tačka. On postaje kandidat za zaključak koji mora da preživi dodatne testove.

1. Razdvojite dokaze od interpretacije

Prvi zahtev je sprečiti da se zapažanja, interpretacije i pretpostavke stope u jedan narativ. Model treba eksplicitno da razlikuje ono što je direktno potkrepljeno od onoga što je izvedeno.

• Dokaz: informacija direktno potkrepljena izvorom, zapažanjem, merenjem, logom, dokumentom ili ponovljivim rezultatom.
• Interpretacija: objašnjenje izvedeno iz dokaza.
• Pretpostavka: tvrdnja koja je trenutno neophodna za proces zaključivanja, ali još nije nezavisno utvrđena.
• Otvoreno pitanje: relevantna neizvesnost za koju dostupni dokazi nisu dovoljni.

Ovo razdvajanje je jednostavno, ali ima važnu posledicu: neizvesnost postaje vidljiva pre nego što bude apsorbovana u konačni narativ.

2. Generisanje konkurentskih hipoteza

Snažno objašnjenje se ne uspostavlja samo zato što se dokazi mogu interpretirati u njegovu korist. Model treba da konstruiše verodostojne alternative i zapita da li se isti dokazi mogu objasniti i njima.

U istorijskom istraživanju to može značiti razlikovanje direktnog prenosa, indirektnog prenosa, nezavisne konvergencije i retrospektivne interpretacije. U otklanjanju grešaka u softveru može značiti razdvajanje mrežnog kvara, greške u konfiguraciji, greške u aplikaciji i kvara eksternog servisa. U poslovnoj analizi može značiti poređenje više kauzalnih objašnjenja za isti tržišni signal.

Oznake se razlikuju među disciplinama. Metodološki princip ne.

3. Traganje za dokazima koji bi mogli oboriti preferirano objašnjenje

Potvrđivanje je relativno lako. Kada je data verodostojna hipoteza, i ljudi i jezički modeli često mogu pronaći činjenice koje se čine kompatibilnim s njom. Zahtevniji test pita koji bi dokazi trebalo da postoje ako je hipoteza tačna, koji dokazi ne bi trebalo da postoje i koje bi je zapažanje značajno oslabilo.

Nedavni eksperimentalni rad o pristrasnosti potvrđivanja u jezičkim modelima podržava važnost ovog koraka. Kada je modelima dozvoljeno da slobodno testiraju hipoteze, mogu preferirati testove potvrđivanja nad onima koji opovrgavaju. Pokazano je da eksplicitne intervencije koje podstiču kontraprimere i testove koji opovrgavaju poboljšavaju otkrivanje hipoteza.

Puna uloga opovrgavanja i protivdokaza u ovoj metodologiji razvijena je u Opovrgavanje za AI zaključivanje: od odgovora do testiranih hipoteza.

4. Očuvanje porekla i kauzalne distance

Nema svaka prateća informacija jednaku dokaznu vrednost. Primarni dokument, sekundarna interpretacija, kasniji citat, sažetak bez izvora i parafraza koju je generisao model ne mogu se tretirati kao međusobno zamenljivi samo zato što sadrže slične tvrdnje.

Rigorozan proces zato čuva put između izvora i zaključka. Gde je moguće, lanac zaključivanja treba da ostane proverljiv:

Zaključak → interpretacija → prateći dokazi → izvor

Zatim se mogu dodati validatori specifični za domen. Istorijsko istraživanje zahteva hronologiju, geografsku verodostojnost, poreklo i moguće kanale prenosa. Softverska arhitektura zahteva ograničenja, kompatibilnost, performanse, održivost i načine otkaza. Naučna analiza zahteva eksperimentalni dizajn, kvalitet merenja, ponovljivost i alternativna kauzalna objašnjenja.

5. Testiranje da li zaključak preživljava prompt

Najvažnije proširenje je tretirati sam prompt kao promenljivu.

Ovde koristim termin invarijantnost upita za praktični test: da li suštinski zaključak ostaje stabilan kada se isti dokazi ispituju pod bitno različitim, ali legitimnim okvirima upita?

Korisna implementacija može da sadrži najmanje četiri prolaza:

1. Originalni prolaz: analiziraj problem onako kako je prvobitno formulisan.
2. Nepristrasni prolaz: ukloni korisnikovo preferirano objašnjenje i pitaj koju hipotezu dokazi podržavaju.
3. Invertovani prolaz: tretiraj verodostojnu suprotnu hipotezu kao početnu tvrdnju i testiraj je na istim dokazima.
4. Adversarni prolaz: namerno konstruiši najjači izazov zasnovan na dokazima protiv trenutnog zaključka.

Cilj nije da se forsiraju četiri identična odgovora. Legitimne razlike u okvirima mogu da otkriju ranije skrivene pretpostavke. Relevantni signal je koji činjenični nalazi, uzročne veze i procene pouzdanosti prežive kroz različite formulacije.

Invarijantnost upita stoga ne treba mešati sa činjeničnim dokazom. Bolje je razumeti je kao test robusnosti protiv jedne specifične klase metodološke zavisnosti: preterane zavisnosti od originalnog okvira.

Koncept i njegova ograničenja detaljno su razvijeni u Invarijantnost upita: Da li zaključak preživljava upit?.

6. Kalibrišite zaključak umesto da forsirate sigurnost

Metodologija osmišljena da se odupre pristrasnosti potvrde mora da dozvoli da konačno stanje ostane neizvesno. Proces je neuspešan ako se od svake istrage zahteva da se završi sigurnim da ili ne.

Mogući ishodi uključuju jaku podršku, umerenu podršku, slabu podršku, nerešeno takmičenje između hipoteza, nedovoljno dokaza ili dokaze koji nisu u skladu sa prvobitnom tvrdnjom. Važan zahtev je da pouzdanost prati kvalitet i strukturu dokaza, a ne retoričku koherentnost generisanog odgovora.

Jezgro nezavisno od domena sa validatorima specifičnim za domen

Metodologija prvobitno postaje posebno vidljiva u istraživačkim zadacima jer istraživanje prirodno izlaže probleme dokaza, interpretacije i konkurentskih objašnjenja. Ali njeno jezgro nije ograničeno na istorijski ili akademski rad.

Ista opšta struktura može se primeniti na otklanjanje grešaka, softversku arhitekturu, produktnu strategiju, tehničku due diligence, upravljanje projektima, bezbednosnu analizu i druge domene u kojima verodostojan prvi odgovor može biti znatno slabiji od testiranog zaključka.

Ono što se menja je sloj validacije. Epistemičko jezgro ostaje uglavnom stabilno dok svaki domen obezbeđuje sopstvena pravila za određivanje šta se smatra jakim dokazom, verodostojnim uzročnim mehanizmom ili smislenim testom opovrgavanja.

Ovaj prelaz sa istraživačkog protokola na višekratno upotrebljiv okvir zaključivanja predmet je Od istraživačkog protokola do opšteg okvira zaključivanja AI.

Zašto model zaključivanja ne primenjuje automatski punu metodu

Bilo bi primamljivo zaključiti da bi dovoljno napredni modeli zaključivanja trebalo da učine ovu metodologiju nepotrebnom. Taj zaključak meša sposobnost sa podrazumevanim ponašanjem.

Opšti asistent nema univerzalni razlog da maksimizira epistemičku verifikaciju za svaki zahtev. Korisnici se razlikuju po stručnosti, ciljevima, raspoloživom vremenu, željenoj dubini i toleranciji na složenost. Zadaci se takođe radikalno razlikuju po ceni greške.

Za mnoge zahteve, direktan odgovor je ispravno ponašanje proizvoda. Za druge, posebno istraživanje, arhitekturu, odluke sa velikim uticajem i složenu tehničku dijagnostiku, dodatna verifikacija može znatno poboljšati pouzdanost.

Metodologija stoga deluje kao namerna promena u cilju zaključivanja. Umesto da primarno optimizuje za koristan i koherentan odgovor, ona daje dodatnu težinu epistemičkoj robusnosti, sledljivosti i otpornosti na korisnikov početni okvir.

Od metodologije do epistemičkog sloja verifikacije

Kada se jednom izrazi kao ponovljiv proces, metodologija više ne mora da postoji samo kao dugo uputstvo postavljeno pred jezički model. Ona može postati deo AI arhitekture.

Različiti agenti ili prolazi zaključivanja mogu generisati hipoteze, tražiti protivrečne dokaze, procenjivati izvore, sprovoditi adversarialnu reviziju i upoređivati rezultate između varijanti upita. Konačni odgovor se zatim može proizvesti iz verifikovanog međustanja, a ne direktno iz originalnog korisničkog zahteva.

Upit → dekompozicija → kandidat-objašnjenja → dokazi → izazov → verifikacija → sinteza → odgovor

Ova arhitektura i njen odnos prema agentima, sistemima za pronalaženje i višeprolaznom zaključivanju razvijeni su u Dizajniranje epistemičkog sloja verifikacije za LLM-ove.

Šta ova metodologija ne tvrdi

Rigorozna metodologija treba takođe da definiše sopstvene granice.

• Ne garantuje da model poseduje neophodno znanje.
• Ne čini slabe ili nedostajuće dokaze jačim.
• Ne eliminiše halucinacije, efekte uokvirivanja ili pristrasnost modela.
• Ne dokazuje da je zaključak istinit samo zato što ga je proizvelo nekoliko varijanti upita.
• Ne zamenjuje ekspertizu u domenu, primarne izvore, eksperimente ili eksternu verifikaciju tamo gde su oni potrebni.
• Povećava računarski rad, upotrebu tokena i latenciju.
• Njena svrha je da učini greške, pretpostavke i zavisnosti lakšim za otkrivanje pre nego što postanu zaključci.

Centralni princip

Inženjering upita pita kako dobiti bolji odgovor od modela.

Metodologija opisana ovde postavlja drugačije pitanje:

Kroz koji proces treba da prođe zaključak AI-ja pre nego što odlučimo da je odgovor dovoljno dobar da mu se veruje?

Ta promena perspektive je fundamentalna. Ona pomera fokus sa optimizacije jednog upita ka kontroli procesa zaključivanja oko njega.

Upit ostaje važan, ali se više ne tretira kao neupitna početna tačka. On postaje jedan ulaz u proces koji može da ispita njegove pretpostavke, izazove njegovo uokvirivanje i testira da li rezultujući zaključak preživljava alternativne interpretacije.

U praktičnom smislu, metodologija ne pokušava da stvori pametniji model. Ona pokušava da stvori disciplinovaniju upotrebu postojećih sposobnosti modela.

Kontekst istraživanja

Metodološki predlog u ovom članku zasniva se na nekoliko povezanih oblasti aktuelnih istraživanja velikih jezičkih modela (LLM). Sharma i saradnici ispitivali su ulizivačko ponašanje kod AI asistenata i odnos između signala ljudskih preferencija i slaganja sa uverenjima korisnika. Brucks i Toubia pokazali su da arhitektura upita — uključujući redosled, oznake, uokvirivanje i obrazloženje — može stvoriti sistematske metodološke artefakte u odgovorima modela. Jhaveri i saradnici eksperimentalno su ispitivali pristrasnost potvrđivanja tokom istraživanja hipoteza i otkrili da intervencije koje podstiču kontraprimere smanjuju potvrđujuće ponašanje i poboljšavaju otkrivanje pravila.

Ove studije ne uspostavljaju kompletnu metodologiju koja je ovde predložena, niti predstavljaju dokaz da je invarijantnost upita standardizovana metrika validacije. One uspostavljaju uže empirijske nalaze koji motivišu potrebu za eksplicitnijom kontrolom nad uokvirivanjem, testiranjem hipoteza i verifikacijom.

Odabrane reference

• Sharma, M. et al. — Towards Understanding Sycophancy in Language Models. arXiv:2310.13548, prvobitno objavljeno 2023; revidirano 2025.
• Brucks, M. S. & Toubia, O. — Prompt architecture induces methodological artifacts in large language models. PLOS ONE, 2025.
• Jhaveri, A. R., GX-Chen, A., Sucholutsky, I. & Choi, E. — Failing to Falsify: Evaluating and Mitigating Confirmation Bias in Language Models. arXiv, 2026.

Nastavite seriju

• Upit je deo pristrasnosti — kako uokvirivanje, instrukcije i pretpostavke korisnika utiču na rezonovanje modela.
• Invarijantnost upita: Da li zaključak preživljava upit? — praktični test robusnosti korišćenjem slepih, invertovanih i adversarialnih formulacija.
• Falsifikacija za AI rezonovanje: Od odgovora do testiranih hipoteza — kontradokazi, konkurentske hipoteze i testovi opovrgavanja.
• Od istraživačkog protokola do opšteg okvira za AI rezonovanje — primena metodologije izvan istorijskih istraživanja.
• AI u igrama: Primenjeno rezonovanje pod neizvesnim informacijama — primenjena perspektiva sa figure.rocks.