Može li dokaz preživeti AI proces? — Lanac očuvanja dokaza

Pitanje

Šta se dešava kada je originalni izvor tačan, ali AI pipeline uklanja informacije potrebne za ispravno razumevanje tog izvora?

Pouzdan dokument može postati nepouzdan kontekst ako parsiranje ukloni njegovu strukturu tabele, chunking razdvoji uslov od njegovog izuzetka, normalizacija izgubi jedinice, retrieval izgubi metapodatke o verziji ili sastavljanje konteksta sakrije konflikt.

Ovaj članak koristi termin Lanac očuvanja dokaza za zahtev da dokazi zadrže svojstva neophodna za ispravno tumačenje dok se kreću od izvora do konačnog AI konteksta.

Lanac očuvanja dokaza je end-to-end sekvenca transformacija kroz koje dokazi moraju zadržati identitet, poreklo, obim, značenje i validnost pre nego što mogu bezbedno da podrže AI-generisanu tvrdnju.— Radna definicija — arhitektonski koncept predstavljen ovde, a ne standardizovani istraživački termin.

Šta to zapravo znači

Većina rasprava o RAG-u fokusira se na to da li se relevantne informacije mogu pronaći.

Ali dokazi obično prolaze kroz nekoliko transformacija pre nego što ih model vidi.

Original Source
   ↓
Parsing
   ↓
Normalization
   ↓
Chunking
   ↓
Indexing
   ↓
Retrieval
   ↓
Reranking
   ↓
Context Assembly
   ↓
Model
   ↓
Claim

Dokazi mogu degradirati u bilo kojoj tački tog lanca čak i kada je originalni dokument bio savršeno tačan.

Najjednostavniji primer

Zamislite da priručnik za proizvod sadrži ovu izjavu:

Maksimalna radna temperatura: 40 °C, osim kada je instaliran dodatak X, u kom slučaju je ograničenje 35 °C.— Primer izvorne izjave

Loš proces chunking-a deli rečenicu.

Chunk A:
Maximum operating temperature: 40 °C.

Chunk B:
Except when accessory X is installed, in which case the limit is 35 °C.

Retriever vraća samo Chunk A.

Preuzeti tekst nije izmišljen. Došao je direktno iz priručnika. Ipak, kontekst je nepotpun upravo na način koji je važan.

Correct source
        +
lossy transformation
        =
misleading evidence

Gde primer prestaje da funkcioniše

Očuvanje dokaza ne znači kopiranje svakog bajta izvora nepromenjenog u kontekst modela.

Kompresija, normalizacija, deljenje na delove i sažimanje su često neophodni. Cilj je očuvati svojstva potrebna za ispravno tumačenje, a ne eliminisati transformaciju.

Teško inženjersko pitanje je stoga: Koja svojstva su semantički nosiva?

Direktan odgovor

Dokaz preživljava AI pipeline kada transformacije između izvora i modela čuvaju dovoljno identiteta, porekla, strukture, jedinica, uslova, konflikata i metapodataka o validnosti da pronađena informacija u kontekstu znači isto što je značila na izvoru.

Evidence Preservation
=
meaning
+ identity
+ provenance
+ scope
+ units
+ conditions
+ validity
+ traceability

Zašto RAG može da zakaže čak i sa pravim izvorom

Retriver može da pronađe ispravan dokument, a da ipak pruži pogrešnu jedinicu dokaza.

Problem je možda nastao mnogo ranije: tokom OCR-a, parsiranja dokumenata, ekstrakcije HTML-a, konverzije tabela, mapiranja polja, konstrukcije delova ili gubitka metapodataka.

Osam tačaka očuvanja

1. Identitet

Pipeline mora da očuva koji entitet, proizvod, dokument, korisnik, ugovor ili zapis dokaz zapravo opisuje.

2. Poreklo

Sistem bi trebalo da može da prati pronađeni dokaz nazad do njegovog originalnog izvora, a ne samo do anonimnog identifikatora dela.

3. Struktura

Tabele, naslovi, liste, odnosi roditelj-dete i izuzeci mogu nositi značenje koje nestaje kada se sve spljošti u nezavisne tekstualne fragmente.

4. Jedinice

Broj bez svoje jedinice može postati beskorisan ili opasan. 100 može značiti milisekunde, kilograme, evre, volte ili procenat osnovne vrednosti.

5. Uslovi i izuzeci

Pravila često sadrže uslove primenljivosti. Razdvajanje pravila od izuzetka može sačuvati reči, ali uništiti značenje.

6. Verzija i vreme

Dokaz treba da sačuva kada je postao važeći, kada je uočen i da li ga noviji objekat zamenjuje.

7. Stanje sukoba

Ako se dva izvora ne slažu, normalizacija ne bi trebalo tiho da izabere jednu vrednost i izbriše činjenicu da je neslaganje postojalo.

8. Obim pristupa

Granice dozvola i zakupaca moraju ostati povezane sa dokazima tokom celokupnog pronalaženja i sastavljanja konteksta.

Od sirovih podataka do kontrolisanih dokaza

Najbolje mesto za očuvanje dokaza često je pre vektorizacije.

Ako se identitet izvora, važenje i sukobi izgube pre nego što se kreiraju ugrađivanja, pronalaženje ih kasnije ne može magično rekonstruisati.

Inženjering konteksta je deo lanca

Čak i ispravno pronađeni dokazi mogu biti oštećeni tokom sastavljanja konteksta.

Graditelj konteksta može skratiti izuzetak, ukloniti oznake izvora, spojiti suprotstavljene odlomke, preurediti zavisnosti ili prekoračiti korisni budžet pažnje modela.

Veza sa distancom dokaza

Očuvanje dokaza i distanca dokaza opisuju različite načine otkazivanja.

Evidence Preservation Chain:
Did the evidence survive transformation?

Evidence Distance:
How far is the final claim from that evidence?

Sistem može savršeno da očuva dokaze i ipak iz njih izvede nepotkrepljeni zaključak. Obrnuto, konačno rezonovanje može biti jednostavno dok su sami dokazi već bili kompromitovani ranije u procesu.

Veza sa slojem autoriteta za pretragu

Sloj autoriteta za pretragu bira koji izvor zaslužuje dokaznu težinu.

Lanac očuvanja dokaza osigurava da se svojstva koja taj izvor čine autoritativnim ne odbace nakon selekcije.

Authority at source
        ↓
Preservation through pipeline
        ↓
Authority still visible in context

Praktični model podataka

Jedinica za pretragu može da nosi više od teksta.

{
  "text": "Maximum operating temperature is 40 °C...",
  "sourceId": "manual-v4.2",
  "entityId": "device-184",
  "section": "Operating limits",
  "validFrom": "2026-03-01",
  "unit": "°C",
  "conditions": ["35 °C when accessory X is installed"],
  "authority": "manufacturer_manual",
  "conflicts": [],
  "accessScope": "public"
}

Tačna šema zavisi od aplikacije. Arhitektonski princip je da tekst koji se može pronaći ne treba da se odvoji od metapodataka potrebnih za njegovo tumačenje.

Dijagnostička / metoda odlučivanja

Izaberite jedan važan odgovor i pratite jednu tvrdnju koja ga podržava unazad kroz sistem.

1. Identifikujte konačnu tvrdnju.
2. Identifikujte tačan odlomak konteksta koji ju je podržao.
3. Identifikujte pronađeni deo koji je proizveo taj odlomak.
4. Identifikujte normalizovani zapis ili parsirani dokument iza tog dela.
5. Identifikujte originalni izvor.
6. Uporedite značenje, obim, jedinice, uslove i verziju na svakom prelazu.

Svaka tačka u kojoj suštinsko značenje nestaje predstavlja prekid u lancu očuvanja dokaza.

Način otkazivanja: Siroče

Sirovi deo sadrži tekst koji izgleda korisno, ali nema pouzdanu vezu sa strukturom dokumenta, identitetom izvora, verzijom ili uslovima primenljivosti iz kojih potiče.

"Refunds are available for 30 days."

Missing:
Which product?
Which country?
Which policy version?
From what effective date?
What exceptions?

Rečenica može biti autentična i istovremeno nesiguran dokaz.

Način neuspeha: Normalizacija izmišljanjem

Normalizacija treba da uskladi reprezentacije. Ne treba tiho da izmišlja vrednosti koje nedostaju kako bi zapisi izgledali potpuni.

Unknown
≠
False
≠
Zero
≠
Default

Očuvanje nepoznatih vrednosti deo je očuvanja dokaza.

Način neuspeha: Sažimanje konflikta

Pretpostavimo da jedan odobreni izvor kaže 24 meseca, a drugi 36 meseci.

Proces koji jednostavno čuva poslednju uvezenu vrednost proizvodi čistu bazu podataka i uništava dokaz da je konflikt postojao.

Sistem koji se može verifikovati treba da očuva obe vrednosti, njihovo poreklo i nerešeni konflikt dok ga pravilo ili ljudska odluka ne reši.

Način neuspeha: Sažimanje konteksta

Sažimanje konteksta može biti korisno, ali sažetak koji uklanja kvalifikatore može povećati prividnu sigurnost.

Source:
"Evidence suggests X under conditions A and B, but the sample is small."

Bad compression:
"X is proven."

Informacija je postala kraća i manje istinita u isto vreme.

Granični slučaj: Kompresija sa gubicima ipak može biti ispravna

Nije svaki gubitak štetan.

Uklanjanje vizuelnog formatiranja iz pasusa može imati nikakve semantičke posledice. Pretvaranje Celzijusa u Kelvine može očuvati značenje ako je transformacija eksplicitna i tačna. Uklanjanje duplikata tačnih kopija može poboljšati pretragu bez gubitka dokaza.

Cilj, dakle, nije bezgubitno skladištenje u svakoj fazi. Ono je semantički dovoljno očuvanje.

Ograničenja

Lanac očuvanja dokaza je arhitektonski okvir, a ne garancija da će očuvani dokazi biti ispravno interpretirani.

Model može primiti savršeno očuvane dokaze i ipak loše zaključivati. Pretraživač može očuvati poreklo i ipak rangirati pogrešan izvor. Sam izvor takođe može biti pogrešan.

Očuvanje štiti tok dokaza. Ono ne zamenjuje procenu izvora ili zaključivanje.

Šta bi promenilo ovaj odgovor?

Budući sistemi mogu preuzimati strukturisane objekte dokaza umesto tekstualnih delova, automatski očuvavati grafove porekla i direktno izlagati mašinski čitljiva ograničenja validnosti modelima i agentima.

To bi olakšalo implementaciju očuvanja dokaza, ali bi princip učinilo važnijim, a ne manje važnim.

Zaključak

Pouzdana veštačka inteligencija zahteva više od pronalaženja ispravnog izvora.

Svojstva koja izvor čine korisnim moraju preživeti parsiranje, normalizaciju, deljenje na delove, preuzimanje i sastavljanje konteksta.

Source Authority
      ↓
Evidence Preservation Chain
      ↓
Retrievable Evidence
      ↓
Evidence Distance
      ↓
Reasoning
      ↓
Answer Validity Boundary

Ako se lanac prekine, model može primiti informacije koje su tehnički autentične, ali više nisu bezbedne za tumačenje kao originalni dokaz.

Primarni izvori

Patrick Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020).

Nelson F. Liu et al., Lost in the Middle: How Language Models Use Long Contexts (2023).

W3C, PROV Overview.