Zašto AI pronalazi neke izvore, a ignoriše druge? — Sloj autoriteta za pronalaženje

Pitanje

Zašto AI sistem za pronalaženje bira jedan izvor dok ignoriše drugi izvor koji izgleda da govori o potpuno istoj temi?

Semantička relevantnost je samo deo odgovora. Dva dokumenta mogu biti podjednako slična upitu, a istovremeno se radikalno razlikovati po autoritetu, svežini, poreklu, obimu, dozvolama i primenljivosti.

Ovaj članak koristi termin Sloj autoriteta pronalaženja za granicu selekcije izvora koja se nalazi između pronalaženja potencijalno relevantnih informacija i tretiranja tih informacija kao odgovarajućeg dokaza.

Sloj autoriteta pronalaženja je skup pravila za selekciju izvora i svojstava izvora koji određuju koje informacije koje se mogu pronaći zaslužuju da postanu dokaz za određeno pitanje.— Radna definicija — sistemski koncept koji se koristi u ovom članku, a ne standardizovani istraživački termin.

Šta ovo zaista znači

Sistem za pronalaženje odgovara na relativno usko pitanje: Koje stavke izgledaju relevantno za ovaj upit?

Produkcijski AI sistem obično treba da odgovori na teže pitanje: Kojim od tih relevantnih stavki treba dozvoliti da utiču na odgovor?

To drugo pitanje uvodi identitet izvora, verziju, autoritet, period važenja, poreklo i obim. Relevantna stara politika, kopirani blog post ili nezvanični rezime mogu se rangirati izuzetno dobro, a ipak biti pogrešan dokaz za odluku.

Question
   ↓
Retrieval Trigger
   ↓
Candidate Sources
   ↓
RETRIEVAL AUTHORITY LAYER
   ↓
Qualified Evidence
   ↓
Context / Reasoning
   ↓
Answer Validity Boundary
   ↓
Answer

Najjednostavniji primer

Zamislite da zaposleni pita poslovnog asistenta: Koliko dana godišnjeg odmora dobijaju zaposleni?

Oba odlomka mogu sadržati skoro identičan tekst. Zbog toga ih rezultat sličnosti može smestiti veoma blizu.

Semantic relevance
        ≠
Source authority
        ≠
Applicability

Trenutna odobrena HR politika obično treba da dominira jer je ona merodavan izvor za tu tvrdnju. Stariji vodič ostaje relevantan tekst, ali ne treba da nosi istu dokaznu težinu.

Gde primer prestaje da funkcioniše

Autoritet nije uvek univerzalna hijerarhija u kojoj jedan izvor pobeđuje svaki put.

Transakciona baza podataka može biti merodavna za trenutni status porudžbine. Uputstvo za proizvod može biti merodavno za predviđeno funkcionisanje. Potpisan ugovor može kontrolisati komercijalnu obavezu. Primarni naučni rad može biti najbolji izvor za sopstveni eksperiment, dok kasniji sistematski pregled može biti jači za širi zaključak.

Autoritet je stoga relativan u odnosu na tvrdnju. Ispravna klasa izvora zavisi od onoga što se pita.

Direktan odgovor

Izvor treba da postane preferirani dokaz za pretragu kada nije samo relevantan, već i dovoljno merodavan, aktuelan, primenljiv, sledljiv i dostupan za konkretnu tvrdnju na koju se odgovara.

Useful retrieval evidence
=
relevance
+ authority
+ provenance
+ freshness
+ applicability
+ accessibility

Ova svojstva ne garantuju istinu. Ona stvaraju jaču osnovu za odlučivanje koja pronađena informacija zaslužuje da uđe u proces zaključivanja.

Zašto sličnost sama po sebi nije dovoljna

Vektorska pretraga je izuzetno korisna jer može pronaći semantički povezane informacije čak i kada se formulacija razlikuje. Ali semantička sličnost sama po sebi ne zna da li je dokument zastareo, zamenjen, nezvaničan, neovlašćen ili važeći za drugu jurisdikciju.

Originalna RAG arhitektura pokazala je kako eksterna neparametarska memorija može proširiti znanje modela. Produkcioni sistemi moraju dodati kontrole specifične za aplikaciju oko tog procesa pretrage.

Šest signala autoriteta

1. Identitet izvora

Sistem treba da zna šta je izvor zapravo: politika, ugovor, API, zapis u bazi podataka, naučni rad, stranica dokumentacije, korisnička datoteka ili komentar treće strane.

2. Poreklo

Dokaz treba da sačuva odakle potiče, kako je ušao u sistem i koji originalni objekat ili dokument može biti pregledan ako se tvrdnja ospori.

3. Svežina

Svežina je važna kada se osnovna činjenica promeni. Aktuelni API odgovor i pet godina star članak mogu biti podjednako relevantni za reči upita, ali ne i za njegov vremenski zahtev.

4. Primenljivost

Činjenica može biti tačna, ali primenljiva na pogrešnu verziju proizvoda, zemlju, zakupca, grupu kupaca, ugovor, izdanje softvera ili vremenski period.

5. Specifičnost dokaza

Primarni dokaz koji direktno podržava tvrdnju generalno je jači od lanca sažetaka koji je samo ponavlja.

6. Legitimnost pristupa

Tehnički dostupan dokument nije nužno autorizovani kontekst. Ovlašćenje za pretragu mora da funkcioniše unutar granica zakupca, dozvola, poverljivosti i minimizacije podataka.

Minimalni model ovlašćenja

Praktičan sistem može eksplicitno da predstavi ova svojstva umesto da se nada da će rangiranje po sličnosti da ih obuhvati.

{
  "source": "hr-policy-6.2",
  "sourceType": "approved_policy",
  "effectiveFrom": "2026-01-01",
  "supersedes": "hr-policy-5.9",
  "jurisdiction": "DE",
  "authority": "primary",
  "accessScope": "employee",
  "provenance": "hr-policy-system"
}

Pretraživač i dalje može da koristi semantičku ili leksičku relevantnost. Sloj ovlašćenja dodaje ograničenja i signale za ponovno rangiranje koje sama relevantnost ne može da pruži.

Veza sa informacijama spremnim za agente

Ovo postaje posebno važno kada potrošač nije čovek koji čita dokumente, već AI agent koji donosi odluke.

Informacioni objekat spreman za agente treba da očuva identitet, poreklo, konflikte, nepoznanice i uslove validnosti pre faze pretrage. U suprotnom, sistem pokušava da rekonstruiše ovlašćenje nakon što su informacije već spljoštene u anonimni tekst.

Dijagnostička / odlučujuća metoda

Za svaku visokovrednu preuzetu tvrdnju, postavite šest pitanja:

1. Koji je tačan izvor proizveo ovaj dokaz?
2. Da li je ovaj izvor merodavan za ovu vrstu tvrdnje?
3. Da li su informacije još uvek aktuelne?
4. Da li se primenjuju na ovog korisnika, verziju, jurisdikciju i vremenski period?
5. Može li se tvrdnja pratiti unazad do originalnog dokaza?
6. Da li je korisnik ili agent bio ovlašćen da ga preuzme?

Ako sistem ne može da odgovori na ova pitanja, problem više nije samo kvalitet pretrage. To je problem upravljanja dokazima.

Uobičajeni načini neuspeha

Najviši rezultat sličnosti pobeđuje. To meša semantičku blizinu sa dokaznim autoritetom.

Najnoviji izvor uvek pobeđuje. Noviji komentar može biti manje merodavan od starijeg vladajućeg ugovora ili standarda.

Zvanično znači univerzalno primenljivo. Zvanični izvor i dalje može pripadati drugoj jurisdikciji, verziji ili obimu.

Javno znači bezbedno za preuzimanje. Informacije mogu biti javne, ali neprikladne za zadatak, dok privatne informacije mogu biti legitimne samo unutar ovlašćenog konteksta.

Rubni slučaj: Sukobljeni merodavni izvori

Težak slučaj nije merodavan izvor protiv očigledno slabog izvora. To su dva naizgled merodavna izvora koja se ne slažu.

U tom trenutku, sloj autoriteta treba da sačuva sukob umesto da ga tiho svede na jedan odgovor.

Retrieve
   ↓
Qualify source authority
   ↓
Detect conflict
   ↓
Preserve disagreement
   ↓
Reason about scope / version / provenance
   ↓
Answer only inside the supported boundary

Ograničenja

Sloj autoriteta za pretragu je konceptualna arhitektura, a ne univerzalni algoritam rangiranja.

Različiti domeni zahtevaju različite modele autoriteta. Pravni, naučni, komercijalni, operativni i lični podaci ne mogu svi koristiti istu hijerarhiju izvora.

Takođe ne može garantovati da će eksterni sistem pretrage ili AI sistem rangirati stranicu izdavača. Eksterni sistemi rangiranja ostaju van kontrole izdavača.

Šta bi promenilo ovaj odgovor?

Sistemi pretrage mogu sve više automatski da uče pouzdanost izvora, kombinuju strukturisano poreklo sa neuronskim rangiranjem i pregovaraju o pristupu kroz agentske protokole.

To može promeniti način na koji se implementiraju signali autoriteta. To ne uklanja razliku između pronalaženja relevantnih informacija i odlučivanja da li te informacije zaslužuju dokaznu težinu.

Zaključak

Okidač za preuzimanje odgovara na pitanje: Da li su mi potrebni spoljni dokazi?

Sloj autoriteta za preuzimanje odgovara na sledeće pitanje: Koji spoljni izvor zaslužuje da postane dokaz?

Model Knowledge
   ↓
Retrieval Trigger
   ↓
Candidate Sources
   ↓
Retrieval Authority Layer
   ↓
Qualified Evidence
   ↓
Reasoning
   ↓
Answer

Ta razlika pomera RAG od preuzimanja dokumenata ka kontrolisanom preuzimanju dokaza.

Primarni izvori

Patrick Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020).

Akari Asai et al., Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection (2023).

Soyeong Jeong et al., Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity (2024).