AI-hallucinationer utgör ett nytt hot mot mjukvaruförsörjningskedjan

I en spännande ny utveckling för utvecklare och organisationer som förlitar sig på artificiell intelligens för kodning, har forskare avslöjat ett nytt hot från leveranskedjan skapat av AI-hallucinationer i kodgenererande modeller. Denna framväxande attackvektor, kallad slopsquatting , kan tillåta illvilliga aktörer att infiltrera mjukvaruekosystem genom att dra fördel av fiktiva paket som hallucineras av Large Language Models (LLM).

Faran ligger i det faktum att LLM:er ofta "hallucinerar" paket - föreslår eller infogar referenser till mjukvaruberoenden som helt enkelt inte existerar. I forskning som genomfördes gemensamt av University of Texas i San Antonio, University of Oklahoma och Virginia Tech, upptäcktes det att ingen av de 16 populära LLM:erna som testades var immun mot detta fenomen.

Vad är Slopsquatting och hur fungerar det?

Slopsquatting tar denna hallucinationsbrist och förvandlar den till ett vapen. När en LLM föreslår ett icke-existerande paket under kodgenerering, kan cyberbrottslingar snabbt registrera ett skadligt paket under det namnet. När den väl har publicerats kan alla utvecklare som accepterar den AI-genererade koden till nominellt värde omedvetet importera och köra det skadliga paketet. Detta äventyrar inte bara det enskilda projektet utan kan också spridas över hela mjukvaruförsörjningskedjor om den infekterade koden återanvänds eller delas.

Studien fann att av 2,23 miljoner paket som genererades i Python- och JavaScript-testscenarier var nästan 440 000 – eller cirka 19,7 % – hallucinerade. Av dessa var svindlande 205 474 unika fiktiva paketnamn. De flesta hallucinerade paket – 81 % – var unika för den specifika modellen som genererade dem, vilket pekade på inkonsekventa beteenden över olika LLM:er.

Kommersiella AI-modeller hallucinerade paket i minst 5,2 % av fallen, medan modeller med öppen källkod klarade sig betydligt sämre med hallucinationsfrekvensen på 21,7 %. Oroväckande nog var dessa fel inte bara enstaka slumpen. Över hälften av de hallucinerade förpackningarna (58 %) dök upp upprepade gånger inom bara 10 iterationer, vilket visade en tydlig tendens till uthållighet.

Den stigande risken för AI-genererad kod i mjukvaruutveckling

Medan tidigare studier har erkänt hotet med typosquatting – där angripare utnyttjar felskrivna eller vilseledande paketnamn – representerar denna nya slopsquatting-attack en förbisedd och potentiellt mycket farligare variant. Till skillnad från typosquatting, som förgriper sig på mänskliga fel, utnyttjar slopsquatting den upplevda auktoriteten och pålitligheten hos AI-genererad kod.

Kanske mest fascinerande - och lika oroande - fann forskarna att LLM:er var kapabla att känna igen många av sina egna hallucinationer. Detta tyder på en outnyttjad självreglerande potential som skulle kunna användas i framtida säkerhetsmekanismer. Den ger också en antydan om möjligheten att distribuera detekteringsverktyg i modellen för att förhindra distribution av felaktig eller farlig kod.

Hur utvecklare kan skydda sig mot AI-pakethallucinationer

För att motverka hotet föreslår forskarna en rad åtgärder. Dessa inkluderar avancerade prompt ingenjörstekniker som Retrieval Augmented Generation (RAG), snabb inställning och självförfining. På modellutvecklingssidan kan strategier som övervakad finjustering och förbättrade avkodningsalgoritmer hjälpa till att minska hallucinationsfrekvensen.

När generativ AI fortsätter att förändra mjukvaruutvecklingen är den här studien en skarp påminnelse om att bekvämlighet kan ha en kostnad. Utvecklare måste förbli vaksamma och kritiska mot AI-genererad kod, särskilt när det kommer till beroendehantering. Att integrera statiska analysverktyg och manuella granskningar innan du installerar några rekommenderade paket är nu viktigare än någonsin.

Hotbilden utvecklas snabbt, och som denna forskning visar, så måste också vårt försvar göra det. Det som en gång såg ut som science fiction – AI som föreställer sig programvara som inte finns – har blivit ett mycket verkligt cybersäkerhetsproblem med omfattande konsekvenser.