Фалсификовање за резоновање вештачке интелигенције: од одговора до тестираних хипотеза

Jezički model može da proizvede potkrepljujuće dokaze za iznenađujuće veliki broj verodostojnih objašnjenja.

Ta sposobnost je korisna za istraživanje, ali opasna kao metod validacije. Ako model počne od hipoteze i zadatak je samo da objasni zašto bi ona mogla biti tačna, koherentan odgovor može se pojaviti mnogo pre nego što je hipoteza prošla ozbiljan test.

Pouzdano AI rezonovanje stoga zahteva jače pitanje:

Koji bi dokazi naterali ovu hipotezu da padne?

Ovaj članak razvija rezonovanje usmereno na falsifikaciju kao sledeći sloj metodologije predstavljene u Beyond Prompt Engineering: A Methodology for More Reliable AI Reasoning. Prethodni članak, Prompt Invariance: Does the Conclusion Survive the Prompt?, testira da li zaključak preživljava promene u okviru. Falsifikacija se bavi drugim problemom: da li hipoteza preživljava dokaze koji bi mogli da idu protiv nje.

Nepromenljivost upita testira zavisnost od okvira. Falsifikacija testira ranjivost na dokaze.

Zašto je potvrđivanje previše lako

Pretpostavimo da je AI sistemu data hipoteza i da se od njega traži da utvrdi da li je verodostojna.

Model može da pretražuje svoje znanje, priložene dokumente ili preuzete izvore radi zapažanja kompatibilnih sa tom hipotezom. Ako se pronađe dovoljno kompatibilnih zapažanja, rezultujuće objašnjenje može postati sve ubedljivije.

Ali kompatibilnost je slab dokaz kada nekoliko konkurentskih hipoteza predviđa isto zapažanje.

Razmotrimo apstraktan slučaj:

Zapažanje E je kompatibilno sa hipotezom H1.

Sama ta izjava ne uspostavlja H1. Ako i H2, H3 i H4 takođe predviđaju E, onda E malo doprinosi njihovom razlikovanju.

Dokazi postaju informativniji kada konkurentska objašnjenja daju različita predviđanja o tome šta bismo trebali da opazimo.

Ovo pomera proces rezonovanja sa prikupljanja potkrepljujućih činjenica ka osmišljavanju diskriminišućih testova.

Klasična ideja iza falsifikacije

Falsifikacionizam Karla Popera naglašavao je asimetriju između verifikacije i opovrgavanja. Ponovljena zapažanja kompatibilna sa univerzalnom tvrdnjom ne mogu logički dokazati da je ta tvrdnja istinita, dok istinsko nekompatibilno zapažanje može biti u direktnom sukobu sa njom.

U pojednostavljenom logičkom obliku:

Ako je H tačno, trebalo bi da se pojavi opažanje O. O se ne pojavljuje. Stoga je H, kako je navedeno pod uslovima testa, dovedeno u pitanje.

Snaga ovog pristupa ne leži u dokazivanju da su teorije lažne u svakoj prilici, već u zahtevu da se tvrdnje izlože mogućem neuspehu.

Hipotezu koja može da prihvati svaki zamislivi rezultat bez promene teško je testirati jer nijedno opažanje joj značajno ne protivreči.

Korisna hipoteza treba da preuzme rizik: neki mogući dokazi moraju biti manje kompatibilni sa njom nego sa njenim alternativama.

Falsifikacija je u praksi složenija

Popularna verzija falsifikacije je često previše jednostavna: pojavi se jedno protivrečno opažanje, pa je hipoteza odmah lažna.

Stvarna istraživanja retko funkcionišu tako čisto.

Predviđanje obično zavisi ne samo od centralne hipoteze već i od pomoćnih pretpostavki: tačnosti merenja, pouzdanosti izvora, uslova okoline, detalja implementacije, pozadinskih teorija ili potpunosti dostupnih dokaza.

Realističnija logička struktura je:

H + A1 + A2 + A3 → očekivano opažanje O

Ako se O ne opazi, neuspešno predviđanje nam govori da nešto u kompletnoj eksplanatornoj strukturi nije u redu. Ono nam automatski ne govori koji je deo zakazao.

Hipoteza može biti pogrešna. Merenje može biti nepouzdano. Pretpostavljeni uslov možda nije bio zadovoljen. Izvor može biti nepotpun. Model je možda pogrešno razumeo dokaze.

Ova razlika je ključna za AI rezonovanje. Cilj nije naivno odbacivanje. Cilj je sistematsko izlaganje hipoteza dokazima koji su u stanju da ih oslabe.

Rezonovanje usmereno na falsifikaciju za LLM-ove

Stroga Popperova falsifikacija najprirodnije se primenjuje na tvrdnje koje generišu jasno testirljive posledice. Mnogi zadaci kojima se bave AI asistenti su manje čisti: istorijska interpretacija, otklanjanje grešaka, arhitektura, strategija i kauzalna analiza često uključuju nepotpune dokaze i probabilistička objašnjenja.

Za te domene, korisniji je opštiji termin rezonovanje usmereno na falsifikaciju.

Cilj nije nužno dobijanje jednog logički odlučujućeg falsifikatora. Cilj je organizovati analizu tako da dokazi koji mogu protivrečiti, oslabiti ili diskriminisati trenutnu hipotezu dobiju eksplicitnu pažnju.

Ne pitajte samo šta podržava H. Pitajte šta bi trebalo da postoji ako je H tačno, šta bi trebalo da bude teško objasniti ako je H tačno i koja alternativa bolje objašnjava iste dokaze.

Korak 1 — Precizno navedite hipotezu

Hipoteza se ne može smisleno testirati ako je dovoljno neodređena da obuhvati svaki ishod.

Uporedite:

Sistem je nestabilan jer nešto u mrežnom sloju nije u redu.— Slaba hipoteza

sa:

Povremene greške API-ja uzrokovane su zatvaranjem nadzemnih veza od strane obrnutog proksija kada se prekorači konfigurisano vremensko ograničenje.— Hipoteza koja se može testirati

Druga tvrdnja izlaže se konkretnim testovima. Možemo pregledati vrednosti vremenskog ograničenja, trajanje veze, zapise proksija, ponašanje nadzemnog sistema i greške koje se javljaju ispod konfigurisanog praga.

Što preciznije hipoteza definiše tvrdnju o odnosu, to je lakše utvrditi koji bi dokazi išli protiv nje.

Korak 2 — Generišite istinske konkurentske hipoteze

Testiranje jedne hipoteze izolovano je slabo jer se skoro svako zapažanje tumači u odnosu na nešto drugo.

Sistem bi stoga trebalo da konstruiše verodostojne alternative pre nego što proceni dokaze.

Za isti kvar API-ja, moguća objašnjenja mogu uključivati:

• H1: vremensko ograničenje obrnutog proksija;
• H2: pad ili restart nadzemne aplikacije;
• H3: iscrpljenost veza sa bazom podataka;
• H4: prekid mreže ili gubitak paketa;
• H5: vremensko ograničenje na strani klijenta;
• H6: interakcija između nekoliko slojeva, a ne jedan izolovani uzrok.

Alternative moraju biti dovoljno verodostojne da se takmiče. Generisanje očigledno inferiornih alternativa samo stvara privid kritičkog razmišljanja.

Hipoteza nije preživela konkurenciju ako su alternative osmišljene da izgube.

Korak 3 — Izvedite očekivana zapažanja

Za svaku ozbiljnu hipotezu, model bi trebalo da izvede zapažanja koja se očekuju pod tim objašnjenjem.

Ako je H1 hipoteza o vremenskom ograničenju obrnutog proksija, očekivana zapažanja mogu uključivati greške grupisane oko određenog trajanja, odgovarajuće poruke o vremenskom ograničenju u zapisima proksija, zdrave nadzemne procese u trenutku kvara i nestanak kvara nakon kontrolisane promene vremenskog ograničenja.

Za H2, hipotezu o restartovanju aplikacije, očekivali bismo drugačiji obrazac: restartovanja procesa, izuzetke, nedostupnost aplikacije, iscrpljivanje resursa ili povezane događaje kontejnera.

Važan korak je izvesti ova očekivanja pre tumačenja svakog dostupnog zapažanja kao podrške.

Korak 4 — Definišite potencijalne opovrgavajuće dokaze

Za svaku hipotezu, pitajte koji bi dokazi materijalno oslabili tu hipotezu.

Šta bismo očekivali da nećemo primetiti ako je ova hipoteza glavno objašnjenje?

Za hipotezu o vremenskom ograničenju proksija, primeri uključuju kvarove koji se javljaju daleko ispod konfigurisanog praga, identične kvarove pri zaobilaženju proksija, nepostojanje relevantnog događaja na strani proksija ili dokaze da aplikacija uzvodno prva prekida vezu.

Ovo menja cilj pretrage modela.

Pretraga potvrde: Pronađite dokaze kompatibilne sa H1. Pretraga opovrgavanja: Pronađite zapažanja koja H1 slabo predviđa ili koja H2 predviđa znatno bolje.

Korak 5 — Preferirajte diskriminišuće testove

Nije svaki test jednako informativan.

Pretpostavimo da i H1 i H2 predviđaju povišene stope grešaka. Zapažanje još jedne greške pruža malu diskriminaciju.

Bolji test traži zapažanje na kojem se njihova predviđanja razilaze.

Dobar test: zapažanje verovatno pod H1 ali malo verovatno pod H2, ili obrnuto.

U otklanjanju grešaka, zaobilaženje sumnjivog proksija može biti diskriminišuće. U istorijskom istraživanju, dokazivanje hronologije koja onemogućava direktan prenos može biti snažno diskriminišuće. U analizi proizvoda, zapažanje istog pada potražnje na kontrolnom tržištu na koje predloženi uzrok ne utiče može oslabiti uzročno objašnjenje.

Metodologija stoga vrednuje dokaze ne samo po pouzdanosti već i po njihovoj sposobnosti da razlikuju konkurentska objašnjenja.

Korak 6 — Aktivno tražite kontradokaze

Kada su potencijalni falsifikatori i diskriminišuća zapažanja definisani, sistem bi trebalo aktivno da ih traži.

Ovaj zahtev je važan jer sami jezički modeli mogu pokazivati testiranje hipoteza sa pristrasnošću potvrde.

Godine 2026. Jhaveri, GX-Chen, Sucholutsky i Choi prilagodili su klasičan zadatak otkrivanja pravila za jedanaest jezičkih modela iz više porodica modela i razmera. Modeli su često predlagali primere koji bi potvrdili njihovo trenutno pravilo, umesto primera osmišljenih da ga opovrgnu.

Posledica je bila praktična: istraživanje usmereno na potvrđivanje proizvelo je sporije i manje uspešno otkrivanje skrivenog pravila.

Kada su istraživači izričito podstakli razmatranje kontraprimera, prosečan uspeh otkrivanja pravila porastao je sa 42% na 56% u prijavljenim eksperimentima.

Modelu nije bila potrebna nova baza znanja. Bila mu je potrebna bolja strategija testiranja hipoteza.

Ovo je direktno relevantno za širu metodologiju: kvalitet zaključivanja može se poboljšati kada se proces zaključivanja promeni od traženja potvrde ka istraživanju usmerenom na opovrgavanje.

Korak 7 — Razdvojiti protivrečnost od odbacivanja

Pronalaženje dokaza protiv hipoteze ne opravdava uvek trenutno odbacivanje.

Sistem bi prvo trebalo da proceni kvalitet protivdokaza:

• Da li je zapažanje pouzdano?
• Da li je izvor primaran ili posredan?
• Mogu li greška merenja ili pretrage da objasne sukob?
• Da li hipoteza zaista predviđa sporno zapažanje?
• Da li protivrečnost zavisi od pomoćne pretpostavke?
• Da li su protivdokazi nezavisno potkrepljeni?
• Da li konkurentska hipoteza uspešnije objašnjava dokaze?

Tek nakon ove procene model bi trebalo da utvrdi da li je hipoteza oslabljena, značajno revidirana ili odbačena.

Korak 8 — Sprečiti ad hoc spasavanje

Hipoteza može postati praktično neopovrgljiva ako svako protivrečno zapažanje proizvede novi izuzetak.

Obrazac izgleda ovako:

Predviđanje ne uspe → dodaj izuzetak → predviđanje ponovo ne uspe → dodaj još jedan izuzetak → zadrži prvobitni zaključak neograničeno

Nisu sve izmene nelegitimne. Naučni i tehnički napredak često nastaje jer neočekivani dokazi otkrivaju nedostajuću promenljivu ili netačnu pomoćnu pretpostavku.

Metodološka razlika je u tome da li revizija stvara nove proverljive posledice ili samo štiti preferirani zaključak od neuspeha.

Produktivna revizija povećava eksplanatornu i prediktivnu preciznost. Ad hoc spasavanje samo smanjuje šansu da hipoteza ikada može da izgubi.

Korak 9 — Ažurirati pouzdanje umesto branjenja početnog odgovora

Rezultat rezonovanja usmerenog na falsifikaciju ne mora biti binaran.

Moguća stanja uključuju:

• Čvrsto podržano: preživljava ozbiljne diskriminišuće testove, a konkurentska objašnjenja postižu znatno lošije rezultate.
• Provizorno podržano: najbolje dostupno objašnjenje, ali značajne neizvesnosti ostaju.
• Oslabljeno: postoje materijalni protivdokazi, ali nisu odlučujući.
• Nedovoljno određeno: nekoliko hipoteza podjednako dobro objašnjava trenutne dokaze.
• Odbijeno: pouzdani dokazi su u sukobu sa centralnim predviđanjem, a alternativna objašnjenja postižu bolje rezultate.
• Nije testabilno dostupnim dokazima: trenutni korpus ne može smisleno razlikovati tvrdnje.

Centralno pravilo je jednostavno: pouzdanje treba da prati rezultat testova, a ne retoričku investiranost modela u njegov prvi odgovor.

Matrica falsifikacije

Za složenu analizu, hipoteze se mogu normalizovati u matricu poređenja.

Matrica sprečava čest način neuspeha: primenu rigoroznog ispitivanja na alternative, dok se preferiranoj hipotezi dozvoljava da ostane nejasna.

Negativni dokazi zahtevaju posebnu pažnju

Odsustvo očekivanih dokaza može oslabiti hipotezu, ali samo pod određenim uslovima.

Tvrdnja 'nismo pronašli dokaze za X' nije ekvivalentna tvrdnji 'X se nije dogodio'.

Negativni dokazi postaju informativni kada postoji opravdano očekivanje da bi dokazi verovatno bili uočljivi, sačuvani, zabeleženi, dokumentovani ili merljivi ako je hipoteza tačna.

Odsustvo dokaza je najvažnije kada dokazi ne bi trebalo da budu odsutni.

U otklanjanju grešaka, odsustvo potrebnog događaja u dnevniku može biti značajno ako se zna da je evidentiranje potpuno. U istorijskom istraživanju, odsustvo iz fragmentarnog arhiva obično je mnogo slabije. U bezbednosnoj analizi, odsustvo upozorenja ima malu vrednost ako relevantna telemetrija nikada nije prikupljena.

Model stoga mora proceniti i dokaze koji nedostaju i verovatnoću da bi takvi dokazi preživeli ili bili uočljivi.

Istorijsko istraživanje: prenošenje nasuprot sličnosti

Istorijsko istraživanje ilustruje zašto rezonovanje usmereno na falsifikaciju mora biti specifično za domen.

Pretpostavimo da dve tradicije sadrže konceptualno slične ideje, a početna hipoteza predlaže direktno prenošenje.

Podržavajuća sličnost nije dovoljna. Hipoteza treba da generiše dodatna očekivanja: hronološku kompatibilnost, verovatnu geografsku kontakt, posrednike, tekstualne ili terminološke tragove, dokumentarne dokaze ili obrazac transformacije koji je konzistentan sa prenošenjem.

Potencijalno štetna zapažanja mogu uključivati hronologiju koja obrće predloženi smer, geografsku izolaciju nekompatibilnu sa tvrđenim mehanizmom, ranije nezavisne primere u obe tradicije, ili dokaze da se navodna zajednička karakteristika pojavila samo u mnogo kasnijim reinterpretacijama.

Nijedno pojedinačno odsustvo ne mora nužno da opovrgne istorijsko prenošenje. Ali nekoliko nezavisnih neuspeha može da smanji njegovu eksplanatornu prednost u odnosu na konvergenciju ili indirektno nasleđivanje.

Otklanjanje grešaka u softveru: Od sumnjivca do korenskog uzroka

Otklanjanje grešaka prirodno ima koristi od opovrgavanja jer cilj nije da se stvori verodostojna priča oko poruke o grešci. Cilj je izolovati mehanizam koji proizvodi neuspeh.

Korisna petlja za otklanjanje grešaka je:

Simptom → kandidati za uzrok → predviđena zapažanja → diskriminišući test → eliminisanje uzroka → reprodukcija → korenski uzrok

Hipoteza postaje jača ne zato što se više teksta može napisati u njenu korist, već zato što realistične alternative padaju na testovima koje ona prolazi.

Softverska arhitektura: Opovrgavanje dizajnerske odluke

Arhitektonske odluke se obično ne mogu opovrgnuti u strogom naučnom smislu, ali se mogu podvrgnuti analizi usmerenoj na opovrgavanje.

Pretpostavimo da je hipoteza:

Mikroservisna arhitektura je neophodna da bi se zadovoljili zahtevi sistema za skalabilnošću i organizacijom.

Umesto nabrajanja prednosti mikroservisa, analiza treba da pita šta bi učinilo tvrdnju nepotrebnom.

Ako realistično testiranje opterećenja pokaže da modularni monolit zadovoljava očekivani obim, ako nezavisnost implementacije nije potrebna, i ako operativna složenost postane dominantni trošak, originalna tvrdnja je materijalno oslabljena.

Cilj nije opovrgnuti mikroservise kao tehnologiju. Cilj je testirati specifičnu arhitektonsku tvrdnju pod ograničenjima projekta.

Strategija: Šta bi učinilo poslovnu tezu pogrešnom?

Poslovna strategija često pati od potvrde jer se dokazi mogu tumačiti naknadno.

Jači proces definiše kriterijume neuspeha pre izvršenja.

Ako produktna teza predviđa da će ciljni segment platiti za određenu sposobnost, metodologija treba da definiše koje bi uočljivo ponašanje oslabilo tu tvrdnju: niska konverzija nakon kvalifikovane izloženosti, ponovljeno odbijanje iz istog razloga, nemogućnost održavanja ciljne cene ili dokaz da korisnici rešavaju problem kroz alternativni tok rada.

Strategija postaje proverljivija kada su njeni kriterijumi uspeha praćeni eksplicitnim kriterijumima neuspeha.

Falsifikacija nije isto što i đavolji advokat

Model koji dobije instrukciju da 'argumentuje protiv ovog zaključka' uvek može da generiše prigovore.

To još uvek nije falsifikacija.

Đavolji advokat optimizuje za suprotstavljanje. Rezonovanje usmereno na falsifikaciju optimizuje za informativne testove.

Dobar protivargument zvuči uverljivo. Dobar test falsifikacije ima rezultat koji menja ono u šta treba da verujemo.

Ova razlika sprečava da proces verifikacije degradira u veštačku debatu u kojoj jedan model argumentuje za stav, a drugi automatski argumentuje protiv njega.

Falsifikacija i invarijantnost upita rade zajedno

Invarijantnost upita i falsifikacija testiraju različite zavisnosti.

Hipoteza može da prođe jedan test, a padne drugi.

Model može da reprodukuje isti netačan zaključak pod nekoliko formulacija upita, proizvodeći visoku stabilnost okvira ali slabu dokaznu validnost. Obrnuto, jaka hipoteza može da izgleda nestabilno jer različiti upiti otkrivaju različite podskupove nepotpunih dokaza.

Kombinovanje obe metode stvara jači sled:

Varijacija okvira → konkurentske hipoteze → očekivana zapažanja → kontradokazi → diskriminišući testovi → ažuriranje pouzdanja

Ne dozvolite da isti agent nekritički sudi o sopstvenom testu

Postoji još jedan arhitektonski problem.

Ako isti model generiše hipotezu, osmišljava test, tumači dokaze i odlučuje da li je hipoteza preživela, njegove greške mogu da se propagiraju kroz svaku fazu.

Ovo ne čini proces beskorisnim, ali motiviše razdvajanje uloga.

Generator hipoteza → dizajner testova → pronalazač dokaza → kritičar → verifikator → finalni sintetizator

Ove uloge ne zahtevaju nužno šest različitih modela. Mogu se implementirati kao izolovani inferencijski prolazi sa odvojenim kontekstom, kontrolisanim dokazima i strukturiranim izlazima.

Važno svojstvo je proceduralna nezavisnost: kasnije faze ne bi trebalo jednostavno da naslede retoričku obavezu originalnog odgovora.

Ovo postaje tehnička tema Dizajniranja sloja epistemičke verifikacije za LLM-ove.

Opšti tok rada AI orijentisan ka falsifikaciji

Problem → normalizacija dokaza → konkurentske hipoteze → predviđanja → potencijalni falsifikatori → diskriminišući testovi → pretraga protivdokaza → provera pomoćnih pretpostavki → poređenje hipoteza → rekalibracija pouzdanja → zaključak

Ovaj tok rada ne zahteva da se svaki zadatak ponaša kao laboratorijska nauka.

Umesto toga, on izvlači opšti epistemički princip iz falsifikacije: objašnjenja treba izložiti uslovima pod kojima mogu da izgube.

Tačan validator se zatim menja u zavisnosti od domena.

Istorijska analiza testira hronologiju, poreklo i prenošenje. Otklanjanje grešaka testira uočljivo ponašanje sistema. Arhitektura testira zahteve i ograničenja. Strategija testira tržišne pretpostavke i unapred definisane kriterijume neuspeha.

Ovo jezgro nezavisno od domena i njegovi validatori specifični za domen dalje su razvijeni u Od istraživačkog protokola do opšteg okvira za AI rezonovanje.

Šta falsifikacija ne može da uradi

• Ne može da učini nepotpune dokaze potpunim.
• Ne može da garantuje da je generisana ispravna alternativna hipoteza.
• Ne može da eliminiše greške koje dele model, izvori i proces evaluacije.
• Ne može da pretvori suštinski interpretativne tvrdnje u laboratorijske eksperimente.
• Ne može da tretira svako nedostajuće opažanje kao dokaz protiv hipoteze.
• Ne može automatski da identifikuje koja pomoćna pretpostavka nije uspela kada je predviđanje opovrgnuto.
• Ne može da dokaže da je hipoteza koja je opstala istinita.
• Ne može da zameni eksperimente, primarne izvore, ekspertizu u domenu ili empirijsko merenje tamo gde su oni potrebni.

Hipoteza koja preživi ponovljene pokušaje falsifikacije bolje se opisuje kao potkrepljena izvršenim testovima nego kao dokazana.

Centralni princip

Generativna AI čini potvrđivanje jeftinim.

Za dovoljno verodostojnu tvrdnju, moćan jezički model obično može da proizvede argumente, analogije, potkrepljujuće činjenice i koherentne narative oko nje.

Upravo zato potvrda ne bi trebalo da bude konačni test.

Pouzdan proces zaključivanja ne bi trebalo da pita samo zašto bi hipoteza mogla biti tačna. On mora takođe da definiše kako bi hipoteza mogla biti pogrešna.

Kvalitet zaključka AI stoga ne zavisi samo od toga koliko dokaza koji ga podržavaju sistem može da pronađe, već i od toga da li je konkurentskim objašnjenjima dozvoljeno da pobede.

To menja ulogu modela.

On više nije samo generator odgovora.

On postaje učesnik u kontrolisanom procesu u kojem je njegovo sopstveno prvo objašnjenje privremeno, proverljivo i zamenljivo.

Najjači AI odgovor nije onaj sa najviše argumenata koji ga podržavaju. To je onaj čijim je najjačim alternativama data poštena prilika da ga pobede.

Kontekst istraživanja

Metodologija u ovom članku prilagođava ideje iz filozofije nauke i savremenih empirijskih istraživanja zaključivanja jezičkih modela. Karl Popper je svojim falsifikacionizmom naglasio da naučne tvrdnje treba da se izlože mogućim zapažanjima koja su sa njima u sukobu, dok je kasnija filozofija nauke jasno pokazala da je praktična falsifikacija složenija od jednostavnog odbacivanja hipoteze nakon jednog anomalnog zapažanja.

Razlika je važna za AI sisteme jer stvarni testovi obično zavise od pomoćnih pretpostavki, kvaliteta dokaza i interpretacije. Zaključivanje AI usmereno na falsifikaciju stoga koristi logiku opovrgavanja, a da pritom ne pretpostavlja da se svaka složena analitička tvrdnja može svesti na jedan odlučujući eksperiment.

Studija iz 2026. koju su sproveli Jhaveri, GX-Chen, Sucholutsky i Choi pruža direktnu empirijsku motivaciju za ovaj dizajn. Na jedanaest LLM-ova, autori su otkrili istraživanje hipoteza pristrasno ka potvrđivanju u interaktivnom zadatku otkrivanja pravila. Podsticanje modela da razmotre kontraprimere dosledno je smanjilo ovu pristrasnost i povećalo prosečnu stopu otkrivanja pravila sa 42% na 56%.

Ovi nalazi ne pokazuju da je kompletna metodologija predložena ovde eksperimentalno validirana kao jedinstveni okvir. Oni podržavaju užu i važnu tvrdnju: eksplicitne intervencije ka opovrgavajućim dokazima mogu poboljšati istraživanje hipoteza kod LLM-ova.

Odabrane reference

• Popper, K. R. — The Logic of Scientific Discovery. Englesko izdanje, 1959.
• Popper, K. R. — Conjectures and Refutations: The Growth of Scientific Knowledge. 1963.
• Stanford Encyclopedia of Philosophy — Scientific Method, odeljci o hipotetičko-deduktivnom testiranju i falsifikacionizmu.
• Stanford Encyclopedia of Philosophy — Karl Popper, rasprava o osnovnim iskazima, falsifikabilnosti i praktičnim komplikacijama falsifikacije.
• Jhaveri, A. R., GX-Chen, A., Sucholutsky, I. & Choi, E. — Failing to Falsify: Evaluating and Mitigating Confirmation Bias in Language Models. arXiv:2604.02485, 2026.

Nastavite seriju

• Beyond Prompt Engineering: A Methodology for More Reliable AI Reasoning — kompletan metodološki okvir.
• The Prompt Is Part of the Bias — zašto okvir i pretpostavke korisnika mogu uticati na AI zaključivanje.
• Prompt Invariance: Does the Conclusion Survive the Prompt? — testiranje da li zaključci preživljavaju slepe, obrnute i suprotstavljene okvire.
• From Research Protocol to General AI Reasoning Framework — pretvaranje metodologije u proces zaključivanja nezavisan od domena.