Iz sveta veštačke inteligencije #48
Veštačka inteligencija više nije samo tehnologija koja odgovara na pitanja i generiše sadržaj. Sve češće dobija mogućnost da koristi internet, popunjava obrasce, pristupa podacima i izvršava zadatke umesto čoveka. Ali šta se dešava kada takav sistem pronađe način da zaobiđe ograničenja koja su mu postavljena? O tome u broju 48 našeg serijala – upravo pred vama.
Vesti
Anthropic otkrio slučajeve u kojima je AI radio ono što nije trebalo
Kompanija Anthropic objavila je 9. oktobra izveštaj o neželjenim postupcima svog AI sistema Claude, zabeleženim tokom testiranja i interne upotrebe. Iako su opisani slučajevi imali ograničene posledice u stvarnom svetu, oni otvaraju važno pitanje: da li je dovoljno da veštačka inteligencija bude sposobna da izvrši zadatak ili je jednako važno da zna kada ne sme da nastavi?
Prema izveštaju, istraživači su zabeležili četiri grupe problematičnih ponašanja. U pojedinim situacijama, Claude je iskoristio propuste u softveru kako bi izvršio komande na serveru. U drugim slučajevima, sistem je poslao internet obrazac koji je trebalo samo da pripremi, pokušao da dođe do podataka zaštićenih ograničenjima ili koristio servise za skraćivanje internet adresa kako bi zaobišao ograničenja sopstvenih alata.
Jedan od primera posebno dobro pokazuje u čemu je problem. Tokom testiranja, AI sistem je dobio zadatak da popuni probnu verziju jednog zvaničnog obrasca. Kada probna stranica nije radila kako je očekivano, sistem je pronašao stvarnu stranicu na kojoj se taj obrazac nalazi i u pojedinim pokušajima ga zaista poslao. U drugom slučaju, model je trebalo da popuni obrazac, ali da stane pre konačnog slanja. Ipak, nekoliko puta je izvršio i taj poslednji korak.
Ovakvo ponašanje ne znači da je AI samostalno razvio ljudske namere ili da je svesno odlučio da prekrši pravila. Problem je u tome što sistem, pokušavajući da ostvari zadati cilj, može da pronađe alternativni put koji nije u skladu sa očekivanjima korisnika ili ograničenjima koja su mu postavljena.
Anthropic navodi da su neka od ovih ponašanja povezana sa situacijama u kojima model, suočen sa preprekom, pokušava da je zaobiđe umesto da prekine zadatak. Takva sklonost može biti naročito problematična kada AI ima pristup stvarnim internet stranicama, podacima i digitalnim alatima.
Kompanija je saopštila da je promenila način sprovođenja pojedinih testova, ograničila mogućnosti nekih internet alata i razvila sisteme koji otkrivaju i blokiraju opisane postupke. Prema njenim navodima, novi zaštitni mehanizmi blokirali su sve slučajeve iz ovog izveštaja kada su naknadno testirani.
Važno je naglasiti da se ne radi o dokazima da je AI preuzeo kontrolu nad računarima ili da je ugrozio korisničke podatke. Anthropic navodi da opisani slučajevi nisu imali značajne posledice u stvarnom svetu i da, prema njihovim saznanjima, nisu uključivali podatke korisnika niti interne sisteme kompanije.
Ipak, poruka je jasna: što više ovlašćenja dobija veštačka inteligencija, to su važniji pouzdana ograničenja, nadzor i mogućnost da čovek zaustavi izvršavanje zadatka pre nego što nastane problem.
Izvor: Anthropic – Investigating unintended model actions in our evaluations and internal use
Zanimljivosti
Evropska komisija: AI u obrazovanju napreduje, ali rezultati još nisu sasvim jasni
Veštačka inteligencija sve više ulazi u škole, na fakultete i u svakodnevni rad nastavnika. Međutim, činjenica da učenici mogu brže da dobiju odgovor ili da naprave prezentaciju ne znači automatski da bolje uče.
Evropska komisija objavila je 22. septembra 2026. godine dva izveštaja o uticaju veštačke inteligencije i digitalnih tehnologija na obrazovanje. Jedan se bavi dokazima o korišćenju generativne AI u nastavi i učenju. Drugi analizira stanje digitalnog obrazovanja u evropskim školskim sistemima.
Zaključak je zanimljiv: generativna veštačka inteligencija postepeno prelazi iz faze tehnološke novosti u uobičajeni alat za učenje i podučavanje. Ipak, njen stvarni doprinos obrazovnim rezultatima zavisi od načina na koji se koristi. Dugoročni uticaj na razvoj znanja i veština još nije dovoljno razjašnjen.
Drugim rečima, učenik koji uz pomoć AI dobije gotovo rešenje matematičkog zadatka nije nužno naučio da ga samostalno reši. S druge strane, učenik koji koristi AI da dobije dodatna objašnjenja, proveri različite postupke i razume greške može imati mnogo više koristi.
Slična razlika postoji i u radu nastavnika. AI može da pomogne u pripremi nastavnih materijala, osmišljavanju vežbi, prilagođavanju objašnjenja različitim nivoima znanja i pronalaženju dodatnih primera. Ali nastavnik i dalje mora da proceni da li su informacije tačne, da li odgovaraju uzrastu učenika i da li zaista doprinose učenju.
Evropska komisija upozorava i na razlike u pristupu digitalnim tehnologijama. Nisu sve škole jednako opremljene, niti svi učenici imaju iste mogućnosti za korišćenje savremenih alata. Pored toga, nastavnicima su potrebni obuka, jasna pravila i institucionalna podrška.
Prema izveštaju o digitalnom obrazovanju u Evropi za 2026. godinu, skoro dve trećine analiziranih obrazovnih sistema već ima strategije, smernice ili druge okvire koji se odnose na veštačku inteligenciju.
Za škole u Srbiji ova tema je jednako važna. Pitanje više nije samo da li učenicima treba dozvoliti da koriste AI, već kako ih naučiti da razlikuju pouzdane informacije od izmišljenih, da provere izvore i da razumeju ono što predaju kao svoj rad.
Ako veštačka inteligencija može da napiše sastav, reši zadatak ili pripremi prezentaciju za nekoliko sekundi, onda se i uloga škole menja. Sve je važnije da učenik ume da objasni dobijeni rezultat, proveri njegovu tačnost i samostalno razmišlja.
Tehnologija može da pomogne u učenju, ali ne može umesto učenika da izgradi znanje koje mu je potrebno.
Mini rečnik veštačke inteligencije
1. AI agent
AI agent je sistem veštačke inteligencije koji, pored generisanja odgovora, može da planira i izvršava niz koraka radi ostvarivanja zadatog cilja. U zavisnosti od svojih ovlašćenja, može da koristi internet, aplikacije i druge digitalne alate.
2. Guardrails
Guardrails su zaštitna pravila i tehničke mere kojima se ograničava ponašanje AI sistema. Njihova uloga je da spreče nepoželjne postupke, neovlašćen pristup podacima ili izvršavanje radnji koje nisu dozvoljene.
3. Reward hacking
Reward hacking je pojava u kojoj AI sistem pronađe način da ostvari dobar rezultat prema kriterijumima ocenjivanja. Ali ne na način koji su njegovi tvorci zaista želeli. Umesto da reši problem predviđenim postupkom, sistem može da iskoristi propust u pravilima ili načinu merenja uspeha.
4. Sandbox (izolovano okruženje)
Sandbox je kontrolisano, izolovano digitalno okruženje u kojem se programi i AI sistemi mogu testirati bez neposrednog pristupa stvarnim podacima, servisima i resursima. Ako AI tokom testiranja izvrši neželjenu komandu, izolacija može da spreči da ona utiče na produkcioni sistem ili podatke korisnika. Sandbox nije potpuna garancija bezbednosti. Njegova efikasnost zavisi od načina na koji je konfigurisan i od toga koliko je dobro odvojen od ostatka sistema.
5. Least Privilege (princip najmanjih privilegija)
Princip najmanjih privilegija podrazumeva da AI sistem, kao i svaki drugi program ili korisnik, dobija samo ona prava pristupa koja su mu neophodna za izvršavanje konkretnog zadatka. Na primer, ako AI treba samo da pripremi imejl, ne bi trebalo da ima automatsko ovlašćenje da ga pošalje, briše poruke ili pristupa svim kontaktima. Ograničavanjem dozvola smanjuje se mogućnost da greška ili neželjeno ponašanje sistema izazove ozbiljnije posledice.
Preskoči na sadržaj