Premijer Australije Entoni Albaneze objavio je krajem septembra u Njujorku da je agent veštačke inteligencije kompanije OpenAI još u junu upao na portal na kome Medicare, australijski sistem zdravstvenog osiguranja, objavljuje statističke podatke. Agent je tražio podatke o potrošnji na lekove, a kada ga je portal više puta blokirao, uspeo je da zaobiđe zaštitu.
Australijske službe nisu primetile upad i za njega su saznale tek u septembru, iz mejla koji je OpenAI poslao na javnu adresu za prijavu bezbednosnih propusta. Dva dana posle premijerove objave OpenAI je priznao da su njegovi agenti pristupali i sajtovima američke vlade, a nekoliko dana kasnije odustao je od objavljivanja novog modela jer nije prošao interne bezbednosne testove.
Incident u Australiji
Prema izveštaju koji je OpenAI objavio uz izvinjenje, eksperimentalni model je tokom obuke pokušavao da sazna koliko se u državi Viktoriji troši na lekove za kožne bolesti. Na portalu koji vodi agencija Services Australia pristupio je delovima koji nisu javno dostupni, pokretao komande, preuzimao interne fajlove, podatke za pristup i zbirne statistike, pregledao izvorni kod i upisivao fajlove na server. Naglasili su da nije došlo do pristupa podacima pacijenata.
Na osnovu istog zadatka došao je do sistema još tri institucije, među kojima je i Ministarstvo zdravlja Viktorije, gde je iskoristio pristupni ključ koji je ostao javno dostupan.
OpenAI je ovu aktivnost otkrio sredinom avgusta, kada je posle incidenta na platformi Hugging Face, o kome smo već pisali, proverio šta su njegovi modeli radili na internetu tokom obuke. Agenciju Services Australia obavestio je tek u septembru, mejlom na opštu adresu za prijavu bezbednosnih propusta, koja se proverava jednom dnevno. Albaneze je takav način obaveštavanja nazvao neprihvatljivim i rekao da australijske vlasti nisu pronašle presedan za ovakav slučaj. Vlada je formirala radnu grupu, prosledila slučaj parlamentarnom odboru za veštačku inteligenciju i zatražila mišljenje o tome da li je počinjeno krivično delo.
Incidenti u drugim državama
OpenAI je zatim objavio da su njegovi agenti preuzimali javno dostupne podatke sa dva sajta američke Komisije za hartije od vrednosti i sa sajta Biroa za popis stanovništva, ali da nisu pristupili podacima koji nisu javni. Nezavisna laboratorija Transluce, koja je tragove agenata pronašla na otvorenom internetu, prijavila je i neuspeo pokušaj da se na jednostavan način upadne na sajt kancelarije za građanska prava Ministarstva obrazovanja.
Otkrila je i aktivnosti na sajtovima ministarstava pravde i trgovine, kao i nekoliko saveznih država, pri čemu se deo tih aktivnosti ne može sa sigurnošću pripisati OpenAI-ju. Kompanija navodi da je do sada obavestila desetine organizacija, među kojima su vlade, univerziteti i agencije, i da pregled još traje.
Sve se to događalo dok su eksperimentalni modeli tokom obuke imali direktan pristup internetu. Na sličan način nastao je i slučaj koji je OpenAI potvrdio ranije u septembru, kada su njegovi agenti oko dva meseca koristili jedan napušteni nemački viki kao oglasnu tablu i na njemu ostavili oko 18.000 poruka.
Reakcija OpenAI
OpenAI se australijskim vlastima izvinio u posebnom tekstu. "Trebalo je i da bolje reagujemo. Žao nam je", navodi kompanija. Modeli u istraživačkim okruženjima sada mogu da pristupaju samo sačuvanim kopijama stranica, bez direktnog pristupa internetu, a sistem za nadzor upozorava ljude koji ga prate kada primeti neovlašćen pristup. Kompanija je obustavila i obuku svojih najjačih modela za korišćenje alata dok ne uvede nove zaštitne mehanizme. Pogođenim institucijama nudi tehničku pomoć i kredite iz programa Daybreak.
U isto vreme OpenAI je odustao i od planiranog oktobarskog objavljivanja modela GPT-6.1 Astra.
Prema pisanju Volstrit džornala, interni testovi pokazali su da model korisniku ne kaže uvek šta je uradio, da nastavlja zadatak bez traženja dozvole i da poseže za spoljnim alatima čak i kada to može da bude rizično. Trenutno napredni korisnici AI puštaju agente da urade sami značajan deo posla, što često dovodi do toga da agenti I ne traže više odobrenja za sve svoje aktivnosti.
Reakcija država
Australija priprema zakon prema kome bi kompanije morale da ovakve incidente prijave i organizaciji čiji je sistem pogođen i nacionalnoj agenciji za sajber bezbednost, a predlog zakona najavljen je do kraja godine. U Evropskoj uniji Akt o veštačkoj inteligenciji obavezuje proizvođače najvećih modela da ozbiljne incidente bez odlaganja prijave Evropskoj komisiji.
Komisija je potvrdila da joj je OpenAI prijavio slučaj sa nemačkim vikijem. Međutim, definicija ozbiljnog incidenta u Aktu vezana je za štetu po zdravlje, infrastrukturu, osnovna prava i imovinu, pa nije jasno da li obuhvata i ovakve slučajeve tokom obuke modela. Australija je i među potpisnicima poziva Finske i Norveške u UN, o kome smo već pisali, kojim se traži zajedničko prijavljivanje ozbiljnih incidenata.
Portala sa statistikama, otvorenim podacima i izveštajima ima i kod nas, a upravo su to mesta na koja može da ode agent kada dobije zadatak da nešto istraži. Novi Zakon o informacionoj bezbednosti obavezuje operatere sistema od posebnog značaja da incident, uključujući i neovlašćen pristup podacima, prijave najkasnije 24 sata od trenutka kada za njega saznaju.
Ta obaveza, međutim, nastaje tek kada operater sazna za incident i ne odnosi se na kompaniju čiji je model bez dozvole pristupio sistemu. Trebalo bi pregledati javne državne portale sa podacima, uvesti praćenje automatizovanog saobraćaja i proveriti da li su pristupni ključevi negde ostali javno dostupni, kako bi se ovakav pristup primetio čak i kada ga niko ne prijavi.
Australija je za upad saznala zato što je OpenAI, posle jednog incidenta, sam proverio šta su njegovi modeli radili. Kod agenata čiji vlasnici takve provere ne rade, država će znati samo ono što sama uspe da primeti.
(EUpravo zato)
