Agenti za korišćenje računara: Zašto uspešan demo i dalje može biti nepouzdan sistem

Agenti koji koriste računar sada mogu da klikću, kucaju, pretražuju internet, uređuju datoteke, upravljaju desktop aplikacijama i izvršavaju impresivne višestepene zadatke. To čini uspešne demonstracije lakim za razumevanje i podložnim preteranom tumačenju. Jedan uspešno završen radni tok pokazuje da agent može da uspe pod tim uslovima. On ne pokazuje koliko često uspeva, kako se ponaša kada se okruženje promeni, da li verifikuje rezultat, niti koliko bezbedno postupa kada cilj postane dvosmislen.

Zašto je demonstracija najlakši mogući test pouzdanosti

Demonstracija obično prikazuje jednu putanju koja je uspela. Okruženje je poznato, zadatak je unapred izabran, operater može ponovo da pokrene proces nakon neuspeha, a publika vidi uspešan ishod. Produkcijski sistemi se umesto toga suočavaju sa celom distribucijom: različitim stranicama, mrežnim uslovima, stanjima naloga, iskačućim prozorima, kašnjenjem, promenama korisničkog interfejsa, skrivenim stanjem, dozvolama, prekidima i korisnicima koji nesavršeno opisuju ciljeve.

Ova razlika je važna zato što agenti koji koriste računar funkcionišu putem interfejsa dizajniranih za ljude, a ne determinističkih API-ja. Njihov akcioni ciklus zavisi od percepcije, interpretacije stanja, planiranja, vremenskog usklađivanja interakcija i odziva okruženja. Male promene mogu promeniti putanju čak i kada cilj korisnika ostane nepromenjen.

Rad WAREX odeljenja Microsoft Research-a jasno ukazuje na problem: benčmark agenti koji deluju sposobno u kontrolisanim uslovima beleže značajan pad uspešnosti kada se uvede realistična nestabilnost veba. Neuspeh ne znači nužno da je „model postao manje inteligentan“. Okruženje je jednostavno prestalo da bude determinističko.

Sposobnost, stopa uspešnosti, pouzdanost i bezbednost su različite tvrdnje

Lestvica pouzdanosti za agente koji koriste računar

Koristan način za evaluaciju sistema koji koriste računar jeste prelazak sa jednokratne sposobnosti ka progresivno zahtevnijim svojstvima pouzdanosti. Viši nivoi podrazumevaju niže nivoe, ali ne proističu automatski iz njih.

Nivo 1 — Sposobnost: pitanje demonstracije

Sposobnost postavlja pitanje da li agent uopšte može da izvrši zadatak. To je dragoceno. Sistemi koji koriste računar su brzo napredovali, i savremeni agenti mogu da završe radne tokove koje stariji sistemi nisu mogli pouzdano da izvedu.

Međutim, sposobnost je slab kriterijum za primenu u produkciji. Jedno uspešno izvršavanje ne govori vam da li agent uspeva u 95% ili u 30% slučajeva, da li su neuspesi bezazleni ili destruktivni, niti da li uspeh zavisi od pukog spleta okolnosti na stranici.

Nivo 2 — Ponovljivost: ostaje li isti zadatak rešen?

Putanje korišćenja računara su stohastičke. Izlazi modela variraju, stranice se učitavaju različitim brzinama, vizuelna stanja se menjaju, a dugi tokovi rada stvaraju mnoge mogućnosti grananja. Zbog toga bi produkcijski test trebalo da pokrene isti zadatak više puta, umesto da jedan uspešan trag tretira kao reprezentativan.

Merite ne samo prosečnu stopu uspeha već i distribuciju načina neuspeha: pogrešan klik, prevremeni prekid, propuštena potvrda, netačno polje, duplirana akcija, navigaciona petlja, pretpostavka zastarelog stanja i lažni izveštaj o uspehu.

Nivo 3 — Robusnost u okruženju: šta se dešava kada se veb ponaša kao veb?

Pravi veb-sajtovi nisu fiksna okruženja za benčmark. Zahtevi ne uspevaju, elementi se kasno učitavaju, sesije ističu, stranice se menjaju, baneri za pristanak se pojavljuju, serveri vraćaju greške, a mrežni uslovi variraju.

WAREX procenjuje ovaj jaz ubacivanjem realistične nepouzdanosti veba u postojeća benčmark okruženja i beleži značajne padove u uspešnosti zadataka. Ovo je ključan produkcijski uvid: benčmark može meriti kompetentnost za zadatak, dok nedovoljno meri oporavak od nestabilnosti okruženja.

Nivo 4 — Kontrola na dugim horizontima: uspeh se menja kada zadatak postane pravi posao

Kratki zadaci skrivaju klasu neuspeha koji se pojavljuju tek nakon desetina ili stotina akcija: zaboravljena ograničenja, dupliran rad, preuranjeni završetak, propuštene promene stanja, nedoslednosti između aplikacija i nagomilane male greške.

OSWorld 2.0 je dizajniran posebno oko realnih tokova rada sa dugim horizontom. Ljudskim korisnicima je u medijani potrebno oko 1,6 sati za njegove zadatke i zahtevaju znatno više poziva alata nego raniji benčmarkovi za korišćenje računara. Prema njegovoj primarnoj metrici završetka, čak i najjači ocenjeni sistemi ostaju daleko od potpune pouzdanosti u izvršavanju zadataka.

WeaveBench dolazi do sličnog zaključka iz drugog ugla. On ocenjuje hibridne GUI, CLI i kodne tokove rada i izveštava da najbolja ocenjena kombinacija modela i izvršnog okruženja prolazi samo 41,2% zadataka. Važan rezultat nije samo jedan broj na rang-listi; već to što realistična orkestracija između interfejsa otkriva neuspehe skrivene jednostavnijim zadacima sa jednim interfejsom.

Nivo 5 — Svest o stanju: okruženje se može promeniti ispod samog plana

Dugotrajni zadaci često zavise od skrivenog ili promenljivog stanja: stiže imejl, menja se kalendar, podnosi se obrazac, pozadinski proces se završava, sesija pretraživača ističe, korisnik modifikuje fajl ili spoljni sistem menja dostupnost.

Microsoft-ov SentinelBench tvrdi da se mnogi dugotrajni zadaci uopšte ne bi trebali rešavati neprekidnim akcijama. Ispravno ponašanje može biti praćenje, čekanje na spoljni događaj, a zatim delovanje kada se stanje promeni. Ovo je drugačija sposobnost od bržeg kliktanja ili planiranja više koraka.

Pouzdani agent za korišćenje računara stoga mora da razlikuje: odmah izvodljivo, čekanje na stanje, stanje promenjeno i pretpostavka poništena.

Nivo 6 — Verifikacija ishoda: da li je akcija zaista uspela?

Agent može izvršiti naizgled tačan redosled i svejedno ne uspeti u zadatku. Klik na dugme se možda neće registrovati. Obrazac može odbiti skrivenu validaciju. Fajl se može sačuvati u pogrešnom direktorijumu. Kupovina može ostati nepotvrđena. Sajt može prikazati ekran koji izgleda kao uspeh dok osnovna operacija nije uspela.

Trenutna uputstva kompanije OpenAI za korišćenje računara eksplicitno preporučuju ograničavanje i verifikaciju izvršavanja umesto oslanjanja samo na konačni odgovor modela. Rad Microsoft Research-a na verifikatorima korišćenja računara dolazi do istog zaključka iz evaluacije: proces i ishod se moraju procenjivati odvojeno.

Istraživanje projekta Universal Verifier navodi da ranije postavke verifikatora mogu proizvesti visoke stope lažno pozitivnih rezultata, dok snažniji dizajn rubrika i eksplicitno razdvajanje procesa, ishoda, kontrolisanih neuspeha i nekontrolisanih neuspeha značajno poboljšavaju slaganje sa ljudskim oznakama.

Nivo 7 — Bezbedno rukovanje ciljevima: agent mora znati kada ne treba da nastavi

Agenti koji koriste računar optimizovani su za ostvarivanje ciljeva, ali upornost u postizanju cilja može i sama postati obrazac otkazivanja. Dvosmislen zahtev, nemoguć uslov, protivrečna instrukcija, sumnjiva veb-stranica ili promenjeno okruženje mogu zahtevati pojašnjenje ili zaustavljanje umesto daljeg delovanja.

Benčmark BLIND-ACT proučava ovaj problem kao slepu usmerenost ka cilju (Blind Goal-Directedness). Kroz sisteme procenjene u tom radu, agenti su često nastavljali da izvršavaju zadatke uprkos dvosmislenosti, neizvodljivosti, konfliktnom kontekstu ili drugim razlozima za preispitivanje. Autori identifikuju obrasce kao što su pristrasnost ka izvršavanju na prvom mestu (execution-first bias) i primat zahteva (request primacy).

Ova klasa grešaka je važna zato što visoko sposoban agent može lošu situaciju učiniti još gorom i to brže. Pouzdanost stoga uključuje politiku o tome kada ne treba delovati.

Stres test prelaska iz demo verzije u produkciju

Pre primene toka posla sa korišćenjem računara u produkciji, uzmite uspešan demo i sistematski uklonite pretpostavke koje su ga učinile lakim.

Uspeh na benčmarku ima granicu validnosti

Rezultat na benčmarku je uslovna izjava. Važi za određeni model, okruženje (harness), sistem, skup zadataka, procenjivača, interfejs alata, budžet koraka, politiku ponovnih pokušaja, datum i metod evaluacije.

Broj postaje obmanjujući kada ti uslovi nestanu iz tvrdnje. „Agent X postiže 80%“ je slabija tvrdnja od „Agent X je postigao 80% na benčmarku Y u okruženju Z uz procenjivača J i budžet koraka N.“ Druga izjava čuva granicu koja vam govori da li se taj rezultat prenosi na vašu primenu.

Uspešnost procesa i uspešnost ishoda moraju se ocenjivati odvojeno

WeaveBench izveštava da ocena samo na osnovu ishoda može znatno preceniti performanse korišćenja računara, jer agent može proizvesti naizgled uspešan artefakt pomoću prečice ili fabrikovanih dokaza. Verifikator mora pregledati putanju i krajnje rezultate, a ne samo konačnu tvrdnju.

Pouzdanost u produkciji je distribucija, a ne jedinstvena stopa uspešnosti

Korisna produkciona evaluacija uzorkuje dimenzije koje stvarno variraju u vašem okruženju. Za radni tok u pregledaču, to može uključivati starost naloga, lokalitet, veličinu ekrana (viewport), verziju stranice, kvalitet mreže, status autentifikacije, postojeće stanje korpe, kolačiće, iskačuće prozore, korisničke dozvole i to da li čovek prekida izvršavanje.

Pouzdanost zahteva budžet za greške, a ne savršenstvo

Nijedan produkcioni sistem nije savršeno pouzdan. Korisno inženjersko pitanje jeste koji su otkazi prihvatljivi, prepoznatljivi i popravljivi. Neuspešan pokušaj sortiranja lokalne fascikle nije ekvivalentan slanju pogrešne e-poruke, kupovini pogrešnog proizvoda ili promeni podešavanja naloga.

Klasifikujte akcije prema posledicama i reverzibilnosti. Reverzibilne akcije niskog uticaja mogu tolerisati veću autonomiju. Akcije visokog uticaja, one koje su eksterno vidljive ili teško reverzibilne, zahtevaju jaču potvrdu, verifikaciju stanja, autorizaciju i provere nakon izvršenja.

Praktična matrica pouzdanosti za korišćenje računara

Šta beležiti prilikom neuspeha u korišćenju računara

• Cilj korisnika i izričita ograničenja.
• Verzija modela i okruženja za testiranje (harness).
• Verzije okruženja i aplikacija.
• Snimci ekrana ili strukturisana zapažanja relevantna za neuspeh.
• Preduzete akcije sa vremenskim oznakama.
• Rezultati alata, klikova, tastature i navigacije.
• Prelazi stanja i periodi čekanja.
• Događaji odobrenja, odbijanja ili predaje kontrole (handoff).
• Spoljne greške i mrežni prekidi.
• Konačno vidljivo stanje okruženja.
• Ishod koji je agent prijavio.
• Rezultat verifikatora i informacija o tome da li je agent mogao kontrolisati neuspeh.

Ključno poređenje je između prijavljenog uspeha i uočljivog uspeha. Sistem koji ne može da razlikuje to dvoje na kraju će akumulirati lažno pozitivne rezultate u produkciji.

Bezbednost je deo pouzdanosti agenata za korišćenje računara

Agenti za korišćenje računara ne čitaju samo nepouzdani sadržaj; oni mogu delovati nakon što ga pročitaju. To pretvara prompt injection, zlonamerni sadržaj stranice i phishing u rizike putanje izvršavanja.

Trenutne OpenAI smernice za korišćenje računara preporučuju izolaciju okruženja, pravljenje liste dozvoljenih sajtova i akcija, tretiranje sadržaja ekrana kao nepouzdanog, potvrđivanje akcija sa posledicama, ograničavanje izvršavanja i verifikaciju stvarnog ishoda. ChatGPT agent na sličan način koristi potvrde, nadzor prompt injection napada i nadgledane režime za osetljive kontekste.

Arhitektonski princip je širi od bilo kog pojedinačnog provajdera: sadržaju koji agent uoči ne sme se dozvoliti da redefiniše korisnička ovlašćenja. Veb-stranica može da pruži podatke. Ona ne može da dodeli dozvolu za slanje podataka na drugo mesto, kupovinu, promenu akreditiva ili prekoračenje granica zadatka.

Šta bi promenilo ovaj odgovor?

Jaz u pouzdanosti bi se smanjio ako bi modeli za korišćenje računara postali otporni na duge horizonte, dinamičko stanje, varijacije korisničkog interfejsa, kvarove u okruženju i dvosmislene ciljeve kroz reprezentativne produkcione distribucije. Bolji izvorni API-ji za stanja, standardizovani mašinski čitljivi interfejsi i jača infrastruktura za verifikaciju takođe bi mogli smanjiti količinu krhke interakcije sa GUI-jem koja je neophodna.

Prag za primenu se takođe menja sa posledicama zadatka. Stopa uspešnosti od 70% može biti korisna za nadgledani istraživački zadatak niskog rizika, a potpuno neprihvatljiva za autonoman finansijski ili destruktivni radni tok. Pouzdanost se stoga mora procenjivati u odnosu na cenu svake klase neuspeha, a ne prema jednom univerzalnom pragu prolaznosti.

Ograničenja

Navedeni benčmark testovi procenjuju različita okruženja i ne bi trebalo da se rangiraju jedni protiv drugih kao da mere istu stvar. WAREX testira nepouzdanost veba; WeaveBench cilja hibridni rad dugog horizonta; OSWorld 2.0 cilja realistične duge radne tokove; BLIND-ACT se fokusira na rukovanje ciljevima pod dvosmislenošću i neizvodljivošću.

Rezultati benčmarka takođe brzo zastarevaju. Poboljšanja modela, testnog okruženja i verifikatora mogu materijalno promeniti rezultate u roku od nekoliko meseci. Trajna pouka je stoga metod evaluacije: varirajte uslove, odvojte proces od ishoda, verifikujte eksterno stanje i očuvajte granice oko svake tvrdnje o performansama.

Zaključak

Agenti za korišćenje računara već su dovoljno sposobni da budu korisni. Upravo zato se pitanje evaluacije promenilo. Izazov više nije samo da li agent može da prođe kroz radni tok kliktanjem. Pitanje je da li sistem ostaje pouzdan kada nestanu besprekorni uslovi demonstracije.

Tretirajte jedno uspešno izvršavanje kao dokaz sposobnosti. Zatim testirajte ponovljivost, robusnost na promene u okruženju, kontrolu na dugim vremenskim horizontima, svest o stanju, verifikaciju ishoda i bezbedno upravljanje ciljevima. Produkcijski agent za korišćenje računara nije onaj koji može da završi demo. To je onaj čije su granice otkaza poznate, izmerene i kontrolisane.

Često postavljana pitanja

Rečnik pojmova

Primarni izvori i preporučena literatura