Fun Box > Tehnologija

CHATGPT POD NAPADOM Niste ni svesni koliko ste ugroženi čak i ako postavite samo jedno pitanje veštačkoj inteligenciji!

Najveća zabluda o takvim sistemima je verovanje da su „pametni“ i stoga otporni na obmanu. Pitanje nije samo šta će sledeće reći – već i ko će ih usmeravati.

Autor: Vladimir Ristić

Izvor: Tomorrows Affairs

10/11/2025 > 11:47

podeli vest:

CHATGPT POD NAPADOM Niste ni svesni koliko ste ugroženi čak i ako postavite samo jedno pitanje veštačkoj inteligenciji!
Foto: Shutterstock


Početkom novembra, istraživači iz kompanije Tenable Research objavili su izveštaj koji je potresao tehnološku zajednicu. Tenable Research je američka kompanija specijalizovana za sajber bezbednost i analizu ranjivosti digitalnih sistema.

Dokument pod nazivom HackedGPT detaljno opisuje kako su ozbiljne bezbednosne slabosti otkrivene u srži najpoznatijih modela veštačke inteligencije, uključujući ChatGPT verzije 4o i 5. Identifikovane ranjivosti nisu teoretske niti ograničene na eksperimentalne okvire. Oni pokazuju da sistem koji svakodnevno koriste stotine miliona ljudi može biti iskorišćen za krađu podataka, manipulaciju sadržajem i kršenje širih digitalnih okvira – sve bez znanja korisnika.

Tenable kompanija je mesecima testirala bezbednosne mehanizme ChatGPT-a. Rezultat je bio sedam jasno identifikovanih ranjivosti koje omogućavaju ono što stručnjaci nazivaju „tihim kompromisom“ – situacijom u kojoj se napad ne može videti, osetiti ili lako otkriti. Istraživači su pokazali da model može biti prevaren skrivenim instrukcijama iz spoljnih izvora, kao što su veb stranice, dok korisnik veruje da komunicira sa bezbednim sistemom.

Potencijal za zloupotrebu

Problem leži u složenosti strukture modela. Moderni sistemi generativne inteligencije više nisu zatvoreni algoritmi koji odgovaraju samo na direktna pitanja. Oni prikupljaju, tumače i povezuju podatke iz više izvora u realnom vremenu, uključujući veb pretragu, memoriju razgovora i eksterne dodatke koji povezuju model sa drugim servisima. Upravo tu postoji potencijal za zloupotrebu. Napadač može da ubaci skriveni kod u tekst na internetu – u komentar, naslov ili čak u nevidljivi deo stranice – a model će, tokom pretrage, nesvesno izvršiti tu instrukciju.

Mehanizam, poznat kao „indirektno ubrizgavanje prompta“, omogućava modelu da bude podstaknut da izvrši radnju koju korisnik nikada nije tražio. Ovaj mehanizam, poznat kao „ indirektno ubrizgavanje prompta “, omogućava da se model podstakne da izvrši radnju koju korisnik nikada nije tražio. Ono što ovaj problem čini opasnim jeste to što korisnik ne mora da klikne ni na jedan link. Dovoljno je postaviti pitanje koje podrazumeva veb pretragu, a rezultati mogu prikazati ugroženu stranicu.

Model zatim autonomno izvršava zlonamerne komande. Takav napad se naziva „nulti klik“ jer korisnik ne radi ništa što bi izgledalo rizično. Iako može delovati tehnički zanimljivo, to je ranjivost koja direktno potkopava osnovnu pretpostavku poverenja – da sistem koji koristimo može da razlikuje zahtev korisnika od pokušaja spoljne manipulacije.

AI generisana ilustracija (ChatGPT & DALL·E, OpenAI)

Izveštaj kompanije Tenable takođe opisuje složenije scenarije. Na primer, napadač može da iskoristi „bezbedne“ linkove koje model smatra pouzdanim, kao što su oni koji vode ka poznatim pretraživačima. Na ovaj način, lažni sadržaj može biti sakriven ispod sloja važeće URL adrese. Kada sistem otvori takav link, on ne prepoznaje razliku između originalnog i skrivenog resursa. Kao rezultat toga, model ubacuje instrukcije od napadača, a ne od korisnika, u razgovor.

Još ozbiljniji rizik proizilazi iz memorije modela. ChatGPT može da zapamti delove prethodnih razgovora kako bi poboljšao korisničko iskustvo. Ugroženi model može postati stalni kanal za curenje informacija. Tenabl je pokazao da se skrivene komande mogu umetnuti u taj memorijski prostor i ostati aktivne čak i kada korisnik promeni temu ili započne novu sesiju. Model tada nesvesno nosi „infekciju“ – instrukcije koje će biti pokrenute u budućim interakcijama. To znači da ugroženi model može postati stalni kanal za curenje informacija.

Transparentnost je neophodna

Kada se svi ovi faktori kombinuju, obim rizika postaje jasan. Kako generativna inteligencija postaje sastavni deo poslovnih procesa, obrazovnih platformi, zdravstvenih sistema i vladinih službi, njena ranjivost postaje pitanje bezbednosti podataka, reputacije i institucionalne stabilnosti. Model koji može biti prevaren može takođe propagirati tu obmanu – u dokument, izveštaj, poslovni plan ili odluku zasnovanu na njegovoj analizi.

OpenAI je potvrdio da je primio upozorenje i da su neke od otkrivenih ranjivosti ispravljene, dok se nekoliko još uvek analizira. Kompanija nije objavila vremensku liniju niti detaljan opis zakrpa, tvrdeći da bi otkrivanje tehničkih detalja moglo olakšati zloupotrebu. Bezbednost veštačke inteligencije mora biti fundamentalni deo njenog dizajna, a ne dodatak. Stručnjaci, međutim, upozoravaju da je transparentnost neophodna. Korisnici koji se oslanjaju na ChatGPT za obradu osetljivih podataka moraju znati kada i kako su potencijalne pretnje rešene.

Osnovni bezbednosni standardi još nisu uspostavljeni

Izveštaj dolazi u trenutku kada vlade širom sveta pokušavaju da uvedu zakone kojima bi regulisale upotrebu veštačke inteligencije. Evropska unija je već usvojila prvi sveobuhvatni zakon o veštačkoj inteligenciji, a Sjedinjene Države pripremaju smernice koje će zahtevati od kompanija da prijavljuju ozbiljne bezbednosne incidente povezane sa sistemima veštačke inteligencije. Problem je što se tehnološki razvoj dešava mnogo brže od regulacije. U praksi, modeli se svakodnevno integrišu u nove sektore, dok osnovni bezbednosni standardi još uvek nisu uspostavljeni.

K1info/Shutterstock

Najveća zabluda o takvim sistemima je verovanje da su „pametni“ i stoga otporni na obmanu. Generativni model ne poseduje svest, već samo sposobnost povezivanja obrazaca u jeziku. Ako mu se predstavi sadržaj koji deluje verodostojno, ono ga prihvata kao deo konteksta, bez razlikovanja pravog od lažnog izvora. Tu leži suštinski rizik. Napad ne mora doći spolja – dovoljno je ubaciti nekoliko rečenica u sistem osmišljenih da promene ponašanje modela.

Novo polje za napad

U tom smislu, „HackedGPT“ nije samo tehnički izveštaj. On služi kao upozorenje da su veštački modeli postali novo polje napada, baš kao što su nekada bili serveri, mreže ili aplikacije. Dok se kompanije utrkuju da pokažu kako veštačka inteligencija može da zameni ljude u pisanju, analizi ili donošenju odluka, sada se postavlja pitanje: ko štiti same modele? Ako se mogu manipulisati, njihovi odgovori mogu postati instrumenti obmane – sofisticirani, verodostojni i gotovo neprepoznatljivi. U zaključku izveštaja, Tenabl navodi da je glavni problem „nevidljivost napada“. Korisnici nemaju načina da znaju da je njihov model ugrožen. Nema tekstualnih grešaka, nema upozorenja niti vidljivih simptoma.

Model nastavlja da radi, ali u pozadini može doći do curenja podataka ili prilagođavanja odgovora na instrukcije koje ne dolaze od korisnika. Zbog toga su takve ranjivosti posebno opasne za institucije koje se oslanjaju na poverljive informacije. U narednom periodu, pažnja regulatora će se usmeriti na takve slučajeve. Pitanje je da li se generativna inteligencija, u svom sadašnjem obliku, može smatrati delom kritične infrastrukture.

Ako sistem koji koriste milioni korisnika ne može da garantuje da neće deliti njihove podatke ili biti predmet manipulacije, poverenje u ceo koncept postaje nestabilno ili čak značajno narušeno. Izveštaj „HackedGPT“ stoga ima širi značaj. On se ne bavi samo bezbednošću alata već i prirodom tehnologije koja je postala temelj moderne komunikacije i ekonomije. Kako digitalni asistenti prožimaju svaki aspekt života, njihova bezbednost postaje ne samo tehničko već i političko i civilizacijsko pitanje. Ako se modeli koji upravljaju informacijama mogu zavesti u zabludu, pitanje nije samo šta će sledeće reći – već i ko će ih usmeravati.

Ostavite komentar