AI-hallucinationer udgør en ny trussel mod softwareforsyningskæden

I en rystende ny udvikling for udviklere og organisationer, der er afhængige af kunstig intelligens til kodning, har forskere afsløret en ny forsyningskædetrussel skabt af AI-hallucinationer i kodegenererende modeller. Denne nye angrebsvektor, kaldet slopsquatting , kunne tillade ondsindede aktører at infiltrere software-økosystemer ved at drage fordel af fiktive pakker hallucineret af Large Language Models (LLM'er).

Faren ligger i, at LLM'er ofte "hallucinerer" pakker - foreslår eller indsætter referencer til softwareafhængigheder, der simpelthen ikke eksisterer. I forskning udført i fællesskab af University of Texas i San Antonio, University of Oklahoma og Virginia Tech, blev det opdaget, at ingen af de 16 populære LLM'er, der blev testet, var immune over for dette fænomen.

Hvad er Slopsquatting, og hvordan virker det?

Slopsquatting tager denne hallucinationsfejl og forvandler den til et våben. Når en LLM foreslår en ikke-eksisterende pakke under kodegenerering, kan cyberkriminelle hurtigt registrere en ondsindet pakke under det navn. Når den er offentliggjort, kan enhver udvikler, der accepterer den AI-genererede kode til pålydende værdi, ubevidst importere og køre den ondsindede pakke. Dette kompromitterer ikke kun det enkelte projekt, men kan også sprede sig på tværs af hele softwareforsyningskæder, hvis den inficerede kode genbruges eller deles.

Undersøgelsen viste, at ud af 2,23 millioner pakker genereret på tværs af Python- og JavaScript-testscenarier, var næsten 440.000 - eller omkring 19,7% - hallucinerede. Af disse var svimlende 205.474 unikke fiktive pakkenavne. De fleste hallucinerede pakker - 81 % - var unikke for den specifikke model, der genererede dem, hvilket pegede på inkonsekvent adfærd på tværs af forskellige LLM'er.

Kommercielle AI-modeller hallucinerede pakker i mindst 5,2 % af tilfældene, mens open source-modeller klarede sig væsentligt dårligere med hallucinationsrater på 21,7 %. Alarmerende nok var disse fejl ikke kun engangslykker. Over halvdelen af de hallucinerede pakker (58%) dukkede op gentagne gange inden for kun 10 iterationer, hvilket viste en klar tendens til persistens.

Den stigende risiko for AI-genereret kode i softwareudvikling

Mens tidligere undersøgelser har anerkendt truslen om typosquatting - hvor angribere udnytter forkert indtastede eller vildledende pakkenavne - repræsenterer dette nye slopsquatting-angreb en overset og potentielt langt farligere variant. I modsætning til typosquatting, som forgriber sig på menneskelige fejl, udnytter slopsquatting den opfattede autoritet og troværdighed af AI-genereret kode.

Måske mest fascinerende - og lige så bekymrende - fandt forskerne ud af, at LLM'er var i stand til at genkende mange af deres egne hallucinationer. Dette tyder på et uudnyttet selvreguleringspotentiale, som kunne bruges i fremtidige sikkerhedsmekanismer. Det antyder også muligheden for at implementere detekteringsværktøjer i modellen for at forhindre distribution af fejlagtig eller farlig kode.

Hvordan udviklere kan beskytte mod AI-pakkehallucinationer

For at imødegå truslen foreslår forskerne en række afbødninger. Disse omfatter avancerede prompt ingeniørteknikker såsom Retrieval Augmented Generation (RAG), prompt tuning og selvforfining. På modeludviklingssiden kunne strategier som overvåget finjustering og forbedrede afkodningsalgoritmer hjælpe med at reducere hallucinationshastigheden.

Mens generativ AI fortsætter med at transformere softwareudvikling, er denne undersøgelse en skarp påmindelse om, at bekvemmelighed kan koste en pris. Udviklere skal forblive årvågne og kritiske over for AI-genereret kode, især når det kommer til afhængighedsstyring. Integrering af statiske analyseværktøjer og manuelle anmeldelser før installation af anbefalede pakker er nu vigtigere end nogensinde.

Trusselslandskabet udvikler sig hurtigt, og som denne forskning viser, så skal vores forsvar også gøre det. Hvad der engang så ud som science fiction - AI, der forestiller software, der ikke eksisterer - er blevet et meget reelt cybersikkerhedsproblem med vidtrækkende implikationer.