Halucinacije umjetne inteligencije predstavljaju novu prijetnju lancu nabave softvera

U jezivom novom razvoju za programere i organizacije koje se oslanjaju na umjetnu inteligenciju za kodiranje, istraživači su otkrili novu prijetnju opskrbnog lanca koju stvaraju AI halucinacije u modelima za generiranje koda. Ovaj vektor napada u nastajanju, nazvan slopsquatting , mogao bi zlonamjernim akterima omogućiti infiltraciju u softverske ekosustave iskorištavanjem fiktivnih paketa koje haluciniraju Large Language Models (LLM).

Opasnost leži u činjenici da LLM-ovi često "haluciniraju" pakete—predlažući ili ubacujući reference na softverske ovisnosti koje jednostavno ne postoje. U istraživanju koje su zajednički proveli Sveučilište Teksas u San Antoniju, Sveučilište Oklahoma i Virginia Tech, otkriveno je da niti jedan od 16 testiranih popularnih LLM nije bio imun na ovaj fenomen.

Što je Slopsquatting i kako funkcionira?

Slopsquatting uzima ovu manu halucinacije i pretvara je u oružje. Kada LLM predloži nepostojeći paket tijekom generiranja koda, kibernetički kriminalci mogu brzo registrirati zlonamjerni paket pod tim imenom. Nakon objavljivanja, svaki programer koji prihvati kod generiran umjetnom inteligencijom zdravo za gotovo može nesvjesno uvesti i pokrenuti zlonamjerni paket. To ne samo da ugrožava pojedinačni projekt, već bi se moglo proširiti i kroz čitave lance nabave softvera ako se zaraženi kod ponovno upotrijebi ili podijeli.

Studija je otkrila da je od 2,23 milijuna paketa generiranih kroz testne scenarije Pythona i JavaScripta, gotovo 440 000 — ili oko 19,7 % — bilo halucinirano. Od toga, nevjerojatnih 205.474 bila su jedinstvena izmišljena imena paketa. Većina haluciniranih paketa—81%—bili su jedinstveni za određeni model koji ih je generirao, ukazujući na nedosljedna ponašanja u različitim LLM-ovima.

Komercijalni AI modeli halucinirali su pakete u najmanje 5,2% slučajeva, dok su modeli otvorenog koda prošli znatno lošije sa stopom halucinacija od 21,7%. Zabrinjavajuće, te pogreške nisu bile samo jednokratne slučajnosti. Više od polovice haluciniranih paketa (58%) ponavljalo se unutar samo 10 ponavljanja, pokazujući jasnu tendenciju postojanosti.

Rastući rizik koda generiranog umjetnom inteligencijom u razvoju softvera

Dok su prethodne studije priznale prijetnju typosquattinga—gdje napadači iskorištavaju pogrešno upisana ili pogrešna imena paketa—ovaj novi slopsquatting napad predstavlja zanemarenu i potencijalno daleko opasniju varijantu. Za razliku od typosquattinga, koji se temelji na ljudskoj pogrešci, slopsquatting iskorištava percipirani autoritet i pouzdanost koda generiranog umjetnom inteligencijom.

Možda najfascinantnije – i jednako zabrinjavajuće – istraživači su otkrili da su LLM-i sposobni prepoznati mnoge vlastite halucinacije. Ovo sugerira neiskorišteni samoregulacijski potencijal koji bi se mogao koristiti u budućim sigurnosnim mehanizmima. Također nagovještava mogućnost postavljanja alata za otkrivanje unutar modela kako bi se spriječila distribucija pogrešnog ili opasnog koda.

Kako se programeri mogu zaštititi od halucinacija AI paketa

Kako bi se suprotstavili prijetnji, istraživači predlažu niz ublažavanja. To uključuje napredne tehnike brzog inženjeringa kao što je Retrieval Augmented Generation (RAG), brzo podešavanje i samopročišćavanje. Na strani razvoja modela, strategije poput nadziranog finog podešavanja i poboljšanih algoritama dekodiranja mogle bi pomoći u smanjenju stope halucinacija.

Kako generativna umjetna inteligencija nastavlja transformirati razvoj softvera, ova studija je jasan podsjetnik da praktičnost može imati svoju cijenu. Programeri moraju ostati oprezni i kritični prema kodu generiranom umjetnom inteligencijom, posebno kada je riječ o upravljanju ovisnostima. Integriranje alata za statičku analizu i ručnih pregleda prije instaliranja preporučenih paketa sada je važnije nego ikada.

Krajolik prijetnji brzo se razvija, a kao što ovo istraživanje pokazuje, moraju se mijenjati i naše obrane. Ono što se nekada činilo kao znanstvena fantastika - umjetna inteligencija koja zamišlja softver koji ne postoji - postalo je vrlo stvarna briga za kibernetičku sigurnost sa širokim implikacijama.