GPU nije proizvod: Privatna AI arhitektura spremna za budućnost

Diskusija o lokalnoj AI infrastrukturi često počinje pogrešnim pitanjem:

Koji GPU bi trebalo da kupim?

Bolje pitanje je:

Koje vrste AI radnih opterećenja treba da izvršavam i gde bi svako od njih trebalo da se pokreće?

Ova razlika postaje sve važnija kako se AI infrastruktura grana na nekoliko veoma različitih hardverskih klasa. Vrhunski potrošački GPU može pružiti izuzetnu brzinu inferencije, ali relativno ograničenu memoriju. Kompaktni AI sistem može pružiti znatno više memorije uz manju potrošnju energije, nudeći pritom daleko manji memorijski protok. Edge platforme dodaju obradu senzora, video u realnom vremenu i fizičke interfejse za čije rukovanje konvencionalne GPU radne stanice nikada nisu bile dizajnirane.

Rezultat toga jeste da možda više ne postoji jedan idealan AI računar. Umesto toga, može postojati idealna AI struktura za izvršavanje.

Različit hardver rešava različite probleme

Uzmite u obzir nekoliko trenutnih klasa NVIDIA platformi. One nisu jednostavno brže i sporije verzije iste mašine. One predstavljaju različite profile mogućnosti.

GeForce RTX 5090 je dizajniran za izuzetno visoku računarsku propusnost i memorijski protok. Sa 32 GB GDDR7 memorije i veoma visokim protokom, posebno je pogodan za inferenciju osetljivu na kašnjenje kada model komotno staje u memoriju GPU-a.

Specifikacije za NVIDIA RTX 5090

DGX Spark pravi gotovo suprotan kompromis. Kombinuje 128 GB koherentne objedinjene memorije sa memorijskim protokom od 273 GB/s i relativno niskom potrošnjom energije. Njegova glavna prednost nije maksimalna propusnost tokena, već mogućnost zadržavanja znatno većih modela i konteksta rezidentnim u memoriji.

NVIDIA DGX Spark

Jetson AGX Thor takođe nudi arhitekturu sa velikom objedinjenom memorijom, ali je njegova svrha drugačija. Dizajniran je za fizički AI: strimove kamera, zvuk, fuziju senzora, robotiku i druga radna opterećenja u kojima AI mora da komunicira sa fizičkim okruženjem u realnom vremenu.

NVIDIA Jetson Thor

Na profesionalnom kraju spektra, RTX PRO 6000 Blackwell kombinuje 96 GB GDDR7 ECC memorije sa izuzetno visokim memorijskim protokom. Ova klasa akceleratora je posebno zanimljiva za komercijalnu višekorisničku inferenciju jer kombinuje mnogo veći kapacitet memorije sa propusnošću klase radnih stanica.

NVIDIA RTX PRO 6000 Blackwell

Kašnjenje, kapacitet i fizički AI

Koristan infrastrukturni model deli radna opterećenja u tri glavne klase.

Inferencija orijentisana na latenciju

Kratki razgovori, pomoć pri kodiranju, klasifikacija, ekstrakcija, manji RAG upiti i interaktivna radna opterećenja imaju koristi od visoke propusnosti memorije i snažne računarske propusne moći. Vrhunski RTX sistem je posebno pogodan za ovu ulogu.

Inferencija orijentisana na kapacitet

Veliki modeli, dugački konteksti, rezonovanje nad obimnim dokumentima, grupna analiza i kombinacije modela često zahtevaju daleko više memorije nego što konvencionalni korisnički GPU može da pruži. Sistemi kao što je DGX Spark menjaju sirovu propusnost za znatno veći objedinjeni memorijski prostor.

Fizička inteligencija (Physical AI)

Tokovi sa kamera, audio tokovi, prepoznavanje gestova, robotika i fuzija senzora zahtevaju mogućnosti koje prevazilaze obično opsluživanje LLM-ova. Jetson Thor spada u ovu kategoriju jer je računarska snaga integrisana sa interfejsima dizajniranim za sisteme koji deluju u fizičkom svetu.

Važan arhitektonski korak zato nije biranje između ovih platformi. Suština je omogućiti im da sarađuju.

AI ruter postaje stvarna platforma

Sloj za rutiranje može proceniti dužinu konteksta, modalitet, zahteve u pogledu latencije, politiku privatnosti, mogućnosti modela, prioritet zakupca i trenutno iskorišćenje hardvera pre nego što odluči gde bi zahtev trebalo da se pokrene.

• Kratak interni FAQ zahtev može se proslediti brzom lokalnom modelu na RTX GPU-u.
• Zahtev koji uključuje stotine dokumenata može se preusmeriti na Spark čvor bogat memorijom.
• Radno opterećenje vezano za kamere ili senzore može se dodeliti sistemu Thor.
• Posebno težak zahtev za rezonovanjem može se opciono eskalirati do vodećeg cloud modela ukoliko politika zakupca to dozvoljava.

Infrastruktura tada prestaje da bude usmerena na modele i postaje usmerena na mogućnosti.

Ta razlika je važna jer se modeli menjaju mnogo brže od arhitekture poslovnih aplikacija. Model koji se koristi danas može se zameniti sledeće godine bez promene API ugovora koji koristi korisnik. Isto važi i za hardver.

Buduća generacija GPU-a se jednostavno može uvesti kao još jedan čvor za izvršavanje, dok okolna platforma ostaje nepromenjena.

Opsluživanje više modela nije isto što i distribuirana inferencija

Uobičajena je pretpostavka da AI klaster mora stalno premeštati ogromne količine podataka između svakog čvora. To važi samo za određene arhitekture.

Ako je jedan veoma veliki model podeljen na više mašina, propusnost između čvorova postaje kritična jer se podaci tenzora moraju neprekidno prenositi između uređaja.

DGX Spark stoga uključuje ConnectX-7 mrežno povezivanje namenjeno brzoj komunikaciji unutar klastera, uključujući povezivanje do 200 Gb/s po podržanom interfejsu.

Dokumentacija za NVIDIA DGX Spark klasterovanje

Ali privatni AI servis ne mora nužno da distribuira svaki model. Umesto toga, može držati različite modele rezidentnim na različitim čvorovima.

• Jedan čvor može hostovati brzi konverzacijski model.
• Drugi može hostovati veliki model za rezonovanje.
• Treći može pokretati embeddinge i ponovno rangiranje.
• Thor može obrađivati radna opterećenja za vid, zvuk i senzore u realnom vremenu.

U ovoj arhitekturi, zahtevi i odgovori putuju kroz mrežu umesto unutrašnjih tenzora modela. Ovo je višemodelno serviranje, a ne distribuirana inferencija modela.

Za mnoge komercijalne primene, ovo je jednostavnije, jeftinije i lakše za skaliranje.

Jedan klaster može opsluživati više kompanija

Kapacitet infrastrukture se ne može meriti jednostavno brojem kompanija klijenata.

Dvadeset kompanija ne generiše nužno dvadeset istovremenih radnih opterećenja inferencije. Kompanija sa trideset zaposlenih može napraviti samo nekoliko istovremenih zahteva tokom uobičajenog kancelarijskog rada, dok pojedinačni klijent sa intenzivnom automatizacijom može održavati desetine kontinuiranih agenata.

Relevantne metrike kapaciteta su stoga konkurentnost, tokeni u sekundi, veličina konteksta, zahtevi u minuti i prioritet servisa.

Ovo stvara priliku za statističko multipleksiranje: klijenti retko kada istovremeno troše svoj maksimalni ugovoreni kapacitet.

Heterogeni klaster stoga može opsluživati mnogo manjih organizacija, dok istovremeno zadržava kapacitet za klijente sa strožim zahtevima u pogledu latencije ili dostupnosti.

Komercijalni proizvod nije GPU vreme

Direktno takmičenje sa hiperskejl pružaocima iznajmljivanja GPU resursa je teško. Njihova ekonomija je optimizovana oko iskorišćenosti infrastrukture i obima.

Konkurentniji i održiviji proizvod jeste upravljana privatna AI platforma.

• Privatna inferencija
• Generisanje prošireno pretraživanjem (RAG)
• Izolacija zakupaca (tenanata)
• Kontrola pristupa zasnovana na ulogama
• Evidentiranje revizije
• Rutiranje modela
• Ingestija dokumenata
• Konektori i API-ji
• Evaluacija i nadzor
• Namenski ili rezervisani kapacitet

Klijent ne plaća prvenstveno za pristup GPU-u. Klijent plaća za kontrolisani AI aplikativni sloj.

Lokalni modeli ne moraju da nadmaše vodeće AI modele

Još jedna arhitektonska greška jeste tretiranje modela otvorenih težina kao direktnih zamena za najnaprednije sisteme.

Oni to i ne moraju da budu.

Kompaniji koja pita: „Koji otkazni rok je definisan u ovom ugovoru?“ nije nužno potreban najjači model opšte namene za rasuđivanje koji je dostupan.

Potreban joj je pouzdan unos, tačno pronalaženje, pristup usklađen sa dozvolama, poreklo izvora i dovoljno sposoban model.

Za veliki procenat poslovnih radnih opterećenja, kvalitet pratećeg aplikativnog sloja može biti podjednako važan kao i osnovni LLM.

Platforma stoga može da koristi lokalne modele za radna opterećenja osetljiva na privatnost i velikog obima, dok najnaprednije modele čuva za relativno mali procenat zahteva koji ih zaista zahtevaju.

Ovo stvara oblik kaskadnog zaključivanja: jeftini privatni modeli obrađuju većinu zahteva, dok se skuplje mogućnosti pozivaju samo kada je to neophodno.

Priprema za budućnost ne znači sprečavanje zastarevanja

Nijedan AI akcelerator nije otporan na budućnost u doslovnom smislu. Novi hardver će uvek biti brži.

Korisni inženjerski cilj je, umesto toga, smanjenje rizika od tehnološke zastarelosti.

GPU koji je danas primarni uređaj za zaključivanje kasnije može postati server za ugrađivanje (embedding), radnik za grupnu obradu, čvor za generisanje slika ili sekundarni pul za zaključivanje.

Sistem bogat memorijom koji je nekada pokretao najveći dostupni model kasnije može postati namenski čvor za RAG, dugi kontekst ili grupnu analizu.

Novi hardver bi trebalo da proširuje platformu, a ne da je poništava.

To zahteva odvajanje izvršnog sloja od aplikativnog sloja.

Trajna imovina nisu sami GPU-ovi. To su API ugovori, logika usmeravanja, model zakupaca, bezbednosna pravila, tokovi obrade dokumenata, RAG arhitektura, sistem evaluacije, osmatranje (observability) i integracije za klijente.

Hardver postaje zamenljiva infrastruktura.

Pravi proizvod

Najtrajnija privatna AI arhitektura stoga manje liči na radnu stanicu, a više na minijaturni cloud.

• Različiti hardverski pulovi pružaju različite mogućnosti.
• Sloj za raspoređivanje odlučuje gde pripada koje radno opterećenje.
• Lokalni modeli obrađuju privatne zahteve i zahteve velikog obima.
• Hardver za fizički AI upravlja senzorima i okruženjima u realnom vremenu.
• Vodeći servisi ostaju dostupni kao kontrolisani putevi eskalacije.
• Novi akceleratori se mogu uvoditi bez primoravanja korisnika da menjaju svoje aplikacije.

Iz ove perspektive, centralno pitanje više nije:

Koji GPU bi trebalo da pokreće sistem?

Ono postaje:

Može li platforma da nastavi da pruža istu uslugu kada se promeni GPU, model ili provajder?

Ako je odgovor da, infrastruktura je postigla nešto mnogo vrednije od samog posedovanja brzog hardvera.

Pretvorila je računarske resurse u zamenljivi izvršni sloj.

I tu privatni AI sistem počinje da postaje platforma.