Što je pošlo po zlu? AI je “pobjegao” iz laboratorija i hakirao stvarnu kompaniju

Kada biolozi eksperimentiraju s opasnim virusima, to rade pod strogim pravilima kako bi spriječili njihovo curenje ili bijeg iz laboratorija.

Međutim, slična pravila ne postoje za sustave umjetne inteligencije, iako bi posljedice njihova “bijega” mogle biti katastrofalne.

To više nije samo teorijska mogućnost. Testni model kompanije OpenAI ovog je tjedna uspio napustiti testno okruženje i provaliti u poslužitelje stvarne kompanije dok je pokušavao uspješno završiti internu provjeru iz područja kibernetičke sigurnosti.

Stručnjaci upozoravaju da će se slični incidenti ponavljati ako kompanije koje razvijaju umjetnu inteligenciju ne pooštre sigurnosne procedure tijekom testiranja, uključujući i obuku modela da zadatke rješavaju na etičan način.

Predsjednik OpenAI-ja Greg Brockman rekao je za CNN na konferenciji za novinare u četvrtak da kompanija i dalje provodi “potpunu istragu” kako bi “u potpunosti razumjela što se dogodilo”.

Ovo je nešto što moramo shvatiti veoma ozbiljno. Analiziramo svaki dio našega sustava kako bismo utvrdili na koji način trebamo odgovoriti, rekao je Brockman.

Ograničen pristup koji nije bio potpuno zatvoren

AI sandbox je izolirano testno okruženje koje kompanije koriste za ispitivanje modela umjetne inteligencije. Njegova je svrha da sve što se događa unutar njega ostane potpuno odvojeno od ostatka sustava.

Kompanije u takvim uvjetima često privremeno uklanjaju sigurnosna ograničenja modela kako bi provjerile njegove stvarne sposobnosti, ali uz pretpostavku da će ostati izoliran.

Međutim, u ovom slučaju OpenAI sandbox nije bio potpuno odsječen od mreže i interneta, rekla je za CNN Jessica Ji, viša istraživačka analitičarka Centra za sigurnost i nove tehnologije Sveučilišta Georgetown, pišu Nezavisne novine.

Iz OpenAI-ja navode da su modeli tijekom testiranja imali veoma ograničen pristup mreži kako bi mogli instalirati resurse iz softvera treće strane koji se nalazio na internim poslužiteljima kompanije.

Iskoristio nepoznatu ranjivost

Iskoristivši do tada nepoznatu ranjivost u tom softveru, AI agenti pronašli su put do otvorenog interneta, a potom i do platforme Hugging Face, koja služi za razmjenu modela i skupova podataka otvorenog koda.

Do nje su stigli koristeći ukradene akreditive i druge sigurnosne propuste.

Ji ističe da ni OpenAI ni kompanija koja je razvila taj softver nisu znali za ranjivost koja je omogućila modelu da “pobjegne”, što pokazuje koliko je važno detaljno provjeriti cijeli sustav i otkriti sve moguće sigurnosne propuste.

Prvi javno objavljeni slučaj ovakve vrste

Ovo nije prvi put da je model umjetne inteligencije uspio izaći iz sandbox okruženja.

Kompanija Anthropic ranije ove godine priopćila je da je svom modelu namjerno dala zadatak da to učini.

Kada je u tome uspio, model je čak poslao e-mail jednom istraživaču kompanije Anthropic, iako nije trebao imati tu mogućnost.

Ipak, slučaj s Hugging Faceom jedan je od prvih javno objavljenih primjera u kojem je model umjetne inteligencije napustio svoje testno okruženje i hakirao sustav druge kompanije, iako za to nije bio posebno programiran.

Što čeka korisnike ChatGPT-a: Hoće li popularni AI alat ostati besplatan?

Stručnjaci traže strože mjere

Ji smatra da bi kompanije morale mnogo strože izolirati modele koje testiraju.

To može značiti da će inženjeri morati fizički otići u podatkovni centar i izravno se povezati na mrežu, umjesto da sve pokreću u oblaku ili distribuiranim virtualnim okruženjima, kako je danas uobičajeno, rekla je ona.

Dodala je da bi kompanije morale imati mogućnost u svakom trenutku ručno isključiti mrežni pristup modelu kao dodatnu sigurnosnu mjeru, naročito kada testiraju rizične scenarije, poput provjere može li AI agent hakirati banku.

Model će učiniti sve da ispuni zadatak

Nagrada je važnija od posljedica

Jedna od najčešćih metoda obuke modela umjetne inteligencije jest učenje kroz nagrađivanje, pri kojem model dobiva nagradu kada uspješno izvrši zadatak.

Problem je što će modeli često učiniti gotovo sve kako bi ostvarili cilj, uključujući i neetične postupke poput hakiranja.

Svi najnapredniji modeli koje je nedavno testirao Britanski institut za sigurnost umjetne inteligencije pokušali su varati barem u određenom broju slučajeva.

Modeli razmišljaju o posljedicama svojih postupaka samo ako su za to posebno obučeni, objašnjava Justin Cappos, profesor kibernetičke sigurnosti na Sveučilištu u New Yorku.

Kao primjer navodi situaciju u kojoj bi netko dobio zadatak da do kraja dana osigura 10 milijuna dolara. Provala u bankarski trezor ispunila bi taj cilj, iako bi kasnije uslijedilo uhićenje.

Nova velika tužba protiv OpenAI-ja: ChatGPT optužen za opasne medicinske savjete

“Ovo moramo shvatiti kao ozbiljno upozorenje”

Ovo je zaista jezivo. Sada imamo konkretne dokaze da će loše usklađeni sustavi umjetne inteligencije praktično počiniti kaznena djela ako ne postoje snažne zaštitne mjere, rekao je Steven Adler, bivši direktor za sigurnost proizvoda u OpenAI-ju, koji danas vodi organizaciju Guidelight AI Standards.

Ovaj incident moramo shvatiti kao ozbiljno upozorenje.

Ovotjedni incident dodatno je pojačao zahtjeve istraživača, stručnjaka za kibernetičku sigurnost i zakonodavaca da se razvoj umjetne inteligencije jasnije regulira.

Pretpostavljam da mnogi ljudi upravo vode veoma hitne telefonske razgovore, rekla je Ji.

Globalna utrka otežava uvođenje pravila

Međutim, Cappos upozorava da postoji veliki problem.

U tijeku je globalna utrka za dominaciju u području umjetne inteligencije i razvoj modela koji će moći sami sebe unaprjeđivati. Stroža pravila mogla bi usporiti taj razvoj.

Zbog toga kompanije imaju snažan poticaj da ne uvode stroge sigurnosne kontrole, osim ako to ne učine i njihovi konkurenti, rekao je Cappos.

Upravo je to suština cijelog problema.

(www.jabuka.tv)





Komentiraj: