OpenAI je ove nedelje priznao da su tokom internog testiranja, njegovi modeli bez ijedne ljudske komande provalili u sisteme druge kompanije, "Hugging Face", jedne od najvažnijih platformi za veštačku inteligenciju na svetu.
Model je dobio zadatak da reši bezbednosni test, pa je usput sam našao rupu, izašao "napolje" i upao tamo gde nije smeo.
Štete je bilo malo i brzo je sanirana uz dobru i transparentnu saradnju dve kompanije, ali to nije ovde novina.
Novina je u tome što smo prvi put, na stvarnom slučaju, a ne u nekom eksperimentu, videli dokle su ovi sistemi stigli. O tome da veštačka inteligencija ume da pronalazi ranjivosti pisao sam ranije. Ovde je otišla korak dalje, jer je celu operaciju izvela sama, od početka do kraja.
OpenAI je testirao svoje modele, među njima GPT-5.6 i jednu jaču verziju koja još nije izašla, na zadatku pod imenom "ExploitGym". To je testno okruženje na kojem se meri koliko je model dobar u nalaženju i iskorišćavanju slabosti u softveru. Da bi test imao smisla, deo zaštita bio je namerno spušten, a sve je trebalo da ostane u zatvorenom okruženju I da bude odsečeno od interneta.
Model se ipak nije zadržao u kontrolisanom okruženju. Prvo je našao grešku u jednom internom OpenAI alatu i preko nje izašao na internet. Onda je proširio svoja ovlašćenja, prošetao kroz sisteme i stigao do servera "Hugging Face"-a na kojima su stajala rešenja testa koji je dobio da reši. Tamo je spojio nekoliko trikova, ukradene lozinke i još jednu grešku za koju niko nije znao, i na kraju pokrenuo svoj kod na tuđoj mašini u koju je upao.
"Hugging Face" je takođe objavio detalje oko napada. Upad je došao kroz njihov sistem za obradu podataka, popeo se na nivo servera, pokupio lozinke i tokom vikenda se širio kroz mrežu. Model je pri tome, kako navode, izveo više hiljada pojedinačnih poteza preko gomile kratkotrajnih sesija. Pogođeni su samo interni podaci i ključevi, javni modeli i podaci nisu dirani.
Odbrana je uzvratila istim oružjem
"Hugging Face" je upad otkrio tako što je veštačka inteligencija prošla kroz njihove bezbednosne zapise i primetila da nešto nije u redu. Kad je trebalo razložiti više od 17.000 koraka napada, naleteli su na neočekivan zid.
Modeli kojima se pristupa preko interneta odbili su da analiziraju delove napada, jer njihove zaštite ne dozvoljavaju rad sa zlonamernim kodom. Brana napravljena da spreči zloupotrebu smetala je onima koji su se branili.
Posao su na kraju završili modelom otvorenog koda koji drže na svojim serverima. To je detalj koji važan, u trenutku kada je sistem bio izložen najvećem napadu odbrana se oslonila na alat koji je pod njihovom kontrolom, a ne na uslugu koja im u svakom trenutku može reći ne.
Prvi značajan samostalni napad AI
Godinama se govorilo da će autonomni AI napadi jednog dana postati stvarnost. Ovaj slučaj kaže da taj dan više nije daleko. Ono za šta je nekad bio potreban tim iskusnih ljudi, mnogo vremena i strpljenja, sada može da izvede jedan model, brzinom mašine i bez pauze. Jeftino postaje ono što je do juče bilo skupo i retko, a to je sposoban i uporan napadač.
Da ne bude zabune, ovo nije priča o mašini koja je postala svesna sebe i poželela da naudi. Model je radio tačno ono što mu je rečeno, da reši zadatak, samo je do rešenja došao putem koji niko nije predvideo ni ogradio. Opasnost nije u nameri, nego u tome što ni ljudi koji te modele prave ne umeju uvek da naslute dokle će oni otići da bi obavili posao.
A desilo se to baš u jednoj od najjačih AI kompanija koja je model napravila i testirala ga u navodno zatvorenom prostoru.
Za firme zaključak iz ovoga nije da treba da strahuju od odbegle veštačke inteligencije, nego da se sam posao napada menja. Ako sposoban model može sam da nađe put kroz sisteme, onda i broj i brzina napada rastu, a na meti je svako ko je slabo zaštićen, ne samo velike i bogate firme. Automatizovanom napadaču je svejedno da li je pred njim banka ili firma sa troje ljudi, jer ga ništa ne košta da proba oboje.
Drugo je ono što je "Hugging Face" osetio na svojoj koži. Ne treba sve najvažnije vezati za jednu uslugu koja nije u našim rukama. Firma koja u kriznom trenutku zavisi samo od tuđeg servisa lako se nađe u situaciji da joj taj servis, iz svojih razloga, uskrati baš ono što joj tada najviše treba. Zato sve više ozbiljnih organizacija razmišlja da bar deo alata drži kod sebe, na modelima otvorenog koda kojima sami upravljaju.
Kao neko ko svakodnevno radi sa ovim tehnologijama, mislim da je ovaj slučaj koristan baš zato što nije katastrofa. Prošao je uz malu štetu i uz dve kompanije koje su o njemu progovorile otvoreno. Sledeći put, kad se isto desi nekome ko neće da prizna ili nema koga da zove, cena će biti veća. O tome treba misliti sada, dok je još reč o testu koji je pobegao kontroli, a ne o napadu koji je neko zaista hteo.