Halucinacije umetne inteligence predstavljajo novo grožnjo dobavni verigi programske opreme

V srhljivem novem razvoju za razvijalce in organizacije, ki se pri kodiranju zanašajo na umetno inteligenco, so raziskovalci odkrili novo grožnjo dobavni verigi, ki jo ustvarjajo halucinacije umetne inteligence v modelih za ustvarjanje kode. Ta nastajajoči vektor napadov, imenovan slopsquatting , bi lahko zlonamernim akterjem omogočil infiltracijo v programske ekosisteme z izkoriščanjem izmišljenih paketov, ki jih halucinirajo veliki jezikovni modeli (LLM).

Nevarnost je v tem, da LLM-ji pogosto "halucinirajo" pakete – predlagajo ali vstavljajo sklice na odvisnosti programske opreme, ki preprosto ne obstajajo. V raziskavi, ki so jo skupaj izvedli Univerza v Teksasu v San Antoniu, Univerza v Oklahomi in Virginia Tech, je bilo ugotovljeno, da nobeden od 16 priljubljenih testiranih LLM ni imun na ta pojav.

Kaj je Slopsquatting in kako deluje?

Slopsquatting vzame to halucinacijsko napako in jo spremeni v orožje. Ko LLM med ustvarjanjem kode predlaga neobstoječ paket, lahko kibernetski kriminalci hitro registrirajo zlonamerni paket pod tem imenom. Ko je objavljen, lahko vsak razvijalec, ki sprejme kodo, ustvarjeno z umetno inteligenco, nevede uvozi in zažene zlonamerni paket. To ne ogroža le posameznega projekta, ampak se lahko razširi tudi po celotnih dobavnih verigah programske opreme, če se okužena koda ponovno uporabi ali deli.

Študija je pokazala, da je bilo od 2,23 milijona paketov, ustvarjenih v testnih scenarijih Python in JavaScript, skoraj 440.000 – ali približno 19,7 % – haluciniranih. Od tega je bilo osupljivih 205.474 edinstvenih izmišljenih imen paketov. Večina haluciniranih paketov – 81 % – je bilo edinstvenih za določen model, ki jih je ustvaril, kar kaže na nedosledno vedenje v različnih LLM.

Komercialni modeli umetne inteligence so halucinirali pakete v vsaj 5,2 % primerov, medtem ko so se odprtokodni modeli odrezali bistveno slabše, saj je stopnja halucinacij dosegla 21,7 %. Zaskrbljujoče je, da te napake niso bile le enkratne naključje. Več kot polovica haluciniranih paketov (58 %) se je ponavljala v samo 10 ponovitvah, kar kaže jasno težnjo po vztrajanju.

Naraščajoče tveganje kode, ki jo ustvari umetna inteligenca, pri razvoju programske opreme

Medtem ko so prejšnje študije potrdile grožnjo typosquattinga – kjer napadalci izkoriščajo napačno vtipkana ali zavajajoča imena paketov – ta novi napad slopsquattinga predstavlja spregledano in potencialno veliko bolj nevarno različico. Za razliko od typosquattinga, ki se osredotoča na človeške napake, slopsquatting izkorišča zaznano avtoriteto in zanesljivost kode, ki jo ustvari umetna inteligenca.

Morda najbolj fascinantno – in enako zaskrbljujoče – so raziskovalci ugotovili, da so magistri učenja zmožni prepoznati številne lastne halucinacije. To kaže na neizkoriščen potencial samoregulacije, ki bi ga lahko uporabili v prihodnjih varnostnih mehanizmih. Prav tako namiguje na možnost uvajanja orodij za odkrivanje v modelu za preprečevanje distribucije napačne ali nevarne kode.

Kako se lahko razvijalci zaščitijo pred halucinacijami paketov AI

Da bi preprečili grožnjo, raziskovalci predlagajo vrsto ublažitev. Te vključujejo napredne tehnike hitrega inženiringa, kot je Retrieval Augmented Generation (RAG), hitro uglaševanje in samoizpopolnjevanje. Na strani razvoja modela bi lahko strategije, kot so nadzorovana fina nastavitev in izboljšani algoritmi za dekodiranje, pomagale zmanjšati stopnje halucinacij.

Ker generativna umetna inteligenca še naprej preoblikuje razvoj programske opreme, je ta študija oster opomin, da ima priročnost lahko svojo ceno. Razvijalci morajo ostati pozorni in kritični do kode, ki jo ustvari umetna inteligenca, zlasti ko gre za upravljanje odvisnosti. Integracija orodij za statično analizo in ročnih pregledov pred namestitvijo katerega koli priporočenega paketa je zdaj bolj pomembna kot kdaj koli prej.

Pokrajina groženj se hitro razvija in kot kaže ta raziskava, se mora razvijati tudi naša obramba. Kar se je nekoč zdelo kot znanstvena fantastika – umetna inteligenca, ki si predstavlja programsko opremo, ki ne obstaja – je postalo zelo resnična skrb za kibernetsko varnost z obsežnimi posledicami.