AI hallutsinatsioonid kujutavad endast uut ohtu tarkvara tarneahelale
Arendajatele ja organisatsioonidele, kes kasutavad kodeerimisel tehisintellekti, on jaheda uue arengu käigus teadlased avastanud uudse tarneahela ohu, mille tekitavad AI hallutsinatsioonid koodi genereerivates mudelites. See esilekerkiv ründevektor, mida nimetatakse slopsquattingiks , võib lubada pahatahtlikel osalejatel tungida tarkvara ökosüsteemidesse, kasutades ära suurte keelemudelite (LLM) hallutsineeritud fiktiivseid pakette.
Oht seisneb selles, et LLM-id sageli "hallutsineerivad" pakette – soovitavad või lisavad viiteid tarkvarasõltuvustele, mida lihtsalt ei eksisteeri. San Antonio Texase ülikooli, Oklahoma ülikooli ja Virginia Techi ühiselt läbiviidud uuringus avastati, et ükski 16 testitud populaarsest LLM-ist ei olnud selle nähtuse suhtes immuunne.
Sisukord
Mis on Slopsquatting ja kuidas see toimib?
Slopsquatting võtab selle hallutsinatsioonivea ja muudab selle relvaks. Kui LLM soovitab koodi genereerimisel olematut paketti, saavad küberkurjategijad kiiresti registreerida pahatahtliku paketi selle nime all. Pärast avaldamist võib iga arendaja, kes aktsepteerib AI-ga loodud koodi nimiväärtusega, pahatahtliku paketi teadmata importida ja käivitada. See mitte ainult ei ohusta üksikut projekti, vaid võib levida ka tervetes tarkvara tarneahelates, kui nakatunud koodi kasutatakse uuesti või jagatakse.
Uuring näitas, et 2,23 miljonist Pythoni ja JavaScripti testistsenaariumite kaudu loodud paketist peaaegu 440 000 ehk umbes 19,7% olid hallutsinatsioonid. Neist hämmastavad 205 474 olid ainulaadsed fiktiivsed paketinimed. Enamik hallutsineeritud pakette – 81% – olid unikaalsed konkreetse mudeli jaoks, mis need genereeris, osutades ebajärjekindlale käitumisele erinevates LLM-ides.
Kaubanduslikud tehisintellekti mudelid hallutsineerisid pakette vähemalt 5,2% juhtudest, samas kui avatud lähtekoodiga mudelitel läks oluliselt halvemini, hallutsinatsioonide esinemissagedus ulatus 21,7%ni. Murettekitavalt ei olnud need vead vaid ühekordsed juhused. Enam kui pooled hallutsineeritud pakenditest (58%) ilmusid korduvalt vaid 10 iteratsiooni jooksul, mis näitab selget kalduvust püsivusele.
Tehisintellekti loodud koodi kasvav risk tarkvaraarenduses
Kuigi varasemad uuringud on tunnistanud kirjavigastamise ohtu – kus ründajad kasutavad valesti trükitud või eksitavaid paketinimesid – on see uus rünnak tähelepanuta jäetud ja potentsiaalselt palju ohtlikum variant. Erinevalt typosquattingist, mis kasutab inimlikke eksimusi, võimendab squatting tehisintellekti loodud koodi autoriteeti ja usaldusväärsust.
Võib-olla kõige põnevam ja samavõrra murettekitav on teadlased, et LLM-id olid võimelised ära tundma paljusid oma hallutsinatsioone. See viitab kasutamata eneseregulatsiooni potentsiaalile, mida saaks kasutada tulevastes ohutusmehhanismides. See vihjab ka võimalusele kasutada mudelisiseseid tuvastamistööriistu, et vältida vigase või ohtliku koodi levitamist.
Kuidas arendajad saavad kaitsta AI-paketi hallutsinatsioonide eest
Ohu vastu võitlemiseks pakuvad teadlased välja mitmeid leevendusi. Nende hulka kuuluvad täiustatud kiired inseneritehnikad, nagu Retrieval Augmented Generation (RAG), kiire häälestamine ja enesetäiendus. Mudeli arendamise poolel võivad hallutsinatsioonide esinemissagedust vähendada sellised strateegiad nagu järelevalve all peenhäälestus ja täiustatud dekodeerimisalgoritmid.
Kuna generatiivne tehisintellekt jätkab tarkvaraarenduse muutmist, tuletab see uuring teravalt meelde, et mugavus võib maksta. Arendajad peavad jääma valvsaks ja kriitiliseks tehisintellekti loodud koodi suhtes, eriti kui tegemist on sõltuvuse haldamisega. Staatilise analüüsi tööriistade ja käsitsi ülevaatuste integreerimine enne soovitatud pakettide installimist on nüüd olulisem kui kunagi varem.
Ohumaastik areneb kiiresti ja nagu see uuring näitab, peab ka meie kaitsemehhanismid arenema. See, mis kunagi tundus ulmena – tehisintellekt, mis kujutab ette tarkvara, mida pole olemas – on muutunud väga tõeliseks küberjulgeolekuprobleemiks, millel on laiaulatuslikud tagajärjed.