AI halucinācijas rada jaunus draudus programmatūras piegādes ķēdei

Atdzesējošs jaunums izstrādātājiem un organizācijām, kuras kodēšanai paļaujas uz mākslīgo intelektu, pētnieki ir atklājuši jaunu piegādes ķēdes draudu, ko rada AI halucinācijas kodu ģenerēšanas modeļos. Šis jaunais uzbrukuma vektors, saukts par slopsquatting , varētu ļaut ļaunprātīgiem dalībniekiem iefiltrēties programmatūras ekosistēmās, izmantojot fiktīvas pakotnes, kuras halucinē lielie valodu modeļi (LLM).

Briesmas slēpjas faktā, ka LLM bieži "halucinē" paketes — ierosina vai ievieto atsauces uz programmatūras atkarībām, kuras vienkārši neeksistē. Pētījumos, ko kopīgi veica Teksasas Universitāte Sanantonio, Oklahomas universitāte un Virdžīnijas Tehnikas universitāte, tika atklāts, ka neviens no 16 populārajiem pārbaudītajiem LLM nebija imūna pret šo parādību.

Kas ir Slopsquatting un kā tas darbojas?

Slopsquatting izmanto šo halucinācijas trūkumu un pārvērš to par ieroci. Kad LLM koda ģenerēšanas laikā iesaka neesošu pakotni, kibernoziedznieki var ātri reģistrēt ļaunprātīgu pakotni ar šo nosaukumu. Pēc publicēšanas ikviens izstrādātājs, kurš pieņem mākslīgā intelekta ģenerēto kodu par nominālvērtību, var neapzināti importēt un palaist ļaunprātīgo pakotni. Tas ne tikai apdraud atsevišķu projektu, bet arī var izplatīties visās programmatūras piegādes ķēdēs, ja inficētais kods tiek atkārtoti izmantots vai koplietots.

Pētījumā konstatēts, ka no 2,23 miljoniem pakotņu, kas tika ģenerētas Python un JavaScript testa scenārijos, gandrīz 440 000 jeb aptuveni 19,7% bija halucinācijas. No tiem satriecoši 205 474 bija unikāli izdomāti pakotņu nosaukumi. Lielākā daļa halucinēto pakotņu — 81% — bija unikālas konkrētajam modelim, kas tās ģenerēja, norādot uz nekonsekventu uzvedību dažādos LLM.

Komerciālie AI modeļi halucinēja paketes vismaz 5,2% gadījumu, savukārt atvērtā pirmkoda modeļiem klājās ievērojami sliktāk, halucināciju rādītājam sasniedzot 21,7%. Satraucoši, ka šīs kļūdas nebija tikai vienreizējas nejaušības. Vairāk nekā puse no halucinētajiem iepakojumiem (58%) parādījās atkārtoti tikai 10 iterāciju laikā, parādot skaidru tendenci uz noturību.

Pieaugošais mākslīgā intelekta koda risks programmatūras izstrādē

Lai gan iepriekšējos pētījumos ir atzīti drukas kļūdas draudi, kad uzbrucēji izmanto nepareizi ievadītus vai maldinošus pakotņu nosaukumus, šis jaunais uzbrukums ir aizmirsts un, iespējams, daudz bīstamāks variants. Atšķirībā no typosquatting, kurā tiek izmantotas cilvēka kļūdas, slikts skvots uzlabo mākslīgā intelekta radītā koda autoritāti un uzticamību.

Iespējams, visvairāk aizraujoši un tikpat satraucoši pētnieki atklāja, ka LLM spēj atpazīt daudzas savas halucinācijas. Tas liecina par neizmantotu pašregulācijas potenciālu, ko varētu izmantot turpmākajos drošības mehānismos. Tas arī norāda uz iespēju izvietot modeļa noteikšanas rīkus, lai novērstu kļūdaina vai bīstama koda izplatīšanu.

Kā izstrādātāji var aizsargāties pret AI pakotnes halucinācijām

Lai novērstu draudus, pētnieki ierosina virkni mazināšanas pasākumu. Tie ietver progresīvas tūlītējas inženierijas metodes, piemēram, Retrieval Augmented Generation (RAG), tūlītēju regulēšanu un pašpilnveidošanu. Modeļa izstrādes pusē tādas stratēģijas kā uzraudzīta precizēšana un uzlaboti dekodēšanas algoritmi varētu palīdzēt samazināt halucināciju biežumu.

Tā kā ģeneratīvais AI turpina pārveidot programmatūras izstrādi, šis pētījums ir spilgts atgādinājums, ka ērtībai var būt jāmaksā. Izstrādātājiem ir jāsaglabā modrība un kritiska attieksme pret mākslīgā intelekta radīto kodu, it īpaši, ja runa ir par atkarības pārvaldību. Statiskās analīzes rīku un manuālo pārskatu integrēšana pirms ieteikto pakotņu instalēšanas tagad ir svarīgāka nekā jebkad agrāk.

Draudu ainava strauji attīstās, un, kā liecina šis pētījums, arī mūsu aizsardzībai ir jāattīstās. Tas, kas kādreiz šķita pēc zinātniskās fantastikas — AI, kas iztēlojas neeksistējošu programmatūru, ir kļuvis par ļoti reālu kiberdrošības problēmu ar plašu ietekmi.