AI haliucinacijos kelia naują grėsmę programinės įrangos tiekimo grandinei

Kūrėjai ir organizacijos, besiremiančios dirbtiniu intelektu, skirtos kodavimui, tyrėjai atskleidė naują tiekimo grandinės grėsmę, kurią sukelia dirbtinio intelekto haliucinacijos kodo generavimo modeliuose. Šis naujas atakos vektorius, vadinamas slopsquatting , gali leisti piktybiniams veikėjams įsiskverbti į programinės įrangos ekosistemas pasinaudojant fiktyviais paketais, kuriuos haliucinuoja didelių kalbų modeliai (LLM).

Pavojus slypi tame, kad LLM dažnai „haliucinuoja“ paketus – siūlo arba įterpia nuorodas į programinės įrangos priklausomybes, kurių tiesiog nėra. Teksaso universiteto San Antonijuje, Oklahomos universitetų ir Virdžinijos technologijų bendrai atliktais tyrimais buvo nustatyta, kad nė vienas iš 16 išbandytų populiarių LLM nebuvo apsaugotas nuo šio reiškinio.

Kas yra Slopsquatting ir kaip tai veikia?

Slopsquatting perima šį haliucinacijų trūkumą ir paverčia jį ginklu. Kai LLM generuodamas kodą pasiūlo neegzistuojantį paketą, kibernetiniai nusikaltėliai gali greitai užregistruoti kenkėjišką paketą tokiu pavadinimu. Paskelbtas bet kuris kūrėjas, kuris priima dirbtinio intelekto sugeneruotą kodą nominalia verte, gali nesąmoningai importuoti ir paleisti kenkėjišką paketą. Tai ne tik pažeidžia atskirą projektą, bet ir gali plisti visose programinės įrangos tiekimo grandinėse, jei užkrėstas kodas bus naudojamas pakartotinai arba bendrinamas.

Tyrimas parodė, kad iš 2,23 milijono paketų, sugeneruotų naudojant Python ir JavaScript testavimo scenarijus, beveik 440 000 arba apie 19,7 % buvo haliucinacijos. Iš jų stulbinantys 205 474 buvo unikalūs fiktyvūs paketų pavadinimai. Dauguma haliucinuotų paketų – 81 % – buvo unikalūs konkrečiam juos sugeneravusiam modeliui, nurodant nenuoseklų elgesį įvairiose LLM.

Komerciniai dirbtinio intelekto modeliai haliucinavo paketus mažiausiai 5,2 % atvejų, o atvirojo kodo modeliams sekėsi žymiai blogiau – haliucinacijų dažnis pasiekė 21,7 %. Nerimą kelia tai, kad šios klaidos nebuvo tik vienkartiniai netikėtumai. Daugiau nei pusė haliucinuotų paketų (58%) pasikartojo vos per 10 pakartojimų, o tai rodo aiškią patvarumo tendenciją.

Didėjanti AI sukurto kodo rizika kuriant programinę įrangą

Nors ankstesniuose tyrimuose buvo pripažinta rašybos klaidų grėsmė, kai užpuolikai naudojasi klaidingai įvestais arba klaidinančiomis paketų pavadinimais, ši nauja „slopsquatting“ ataka yra nepastebėtas ir potencialiai daug pavojingesnis variantas. Skirtingai nuo spausdinimo klaidų, kurios naudojasi žmogiškomis klaidomis, „slopsquatting“ padidina AI sukurto kodo autoritetą ir patikimumą.

Galbūt labiausiai žavi ir taip pat susirūpinimą kelianti mokslininkai nustatė, kad LLM galėjo atpažinti daugelį savo haliucinacijų. Tai rodo neišnaudotą savireguliavimo potencialą, kuris galėtų būti panaudotas būsimuose saugos mechanizmuose. Tai taip pat užsimena apie galimybę įdiegti modelio aptikimo įrankius, kad būtų išvengta klaidingo ar pavojingo kodo platinimo.

Kaip kūrėjai gali apsisaugoti nuo AI paketo haliucinacijų

Siekdami kovoti su grėsme, mokslininkai siūlo įvairius sušvelninimo būdus. Tai apima pažangias greitas inžinerijos technologijas, tokias kaip Retrieval Upmented Generation (RAG), greitas derinimas ir savęs tobulinimas. Kalbant apie modelio kūrimą, tokios strategijos kaip prižiūrimas koregavimas ir patobulinti dekodavimo algoritmai gali padėti sumažinti haliucinacijų dažnį.

Kadangi generatyvus AI ir toliau keičia programinės įrangos kūrimą, šis tyrimas yra ryškus priminimas, kad patogumas gali kainuoti. Kūrėjai turi išlikti budrūs ir kritiškai vertinti AI sukurtą kodą, ypač kai kalbama apie priklausomybės valdymą. Statinės analizės įrankių ir rankinių peržiūrų integravimas prieš diegiant rekomenduojamus paketus dabar yra svarbiau nei bet kada.

Grėsmių kraštovaizdis sparčiai vystosi, ir, kaip rodo šis tyrimas, taip pat turi keistis ir mūsų gynyba. Tai, kas kažkada atrodė kaip mokslinė fantastika – dirbtinis intelektas, vaizduojantis neegzistuojančios programinę įrangą – tapo labai tikru kibernetinio saugumo susirūpinimu, turinčiu plataus masto pasekmių.