Halucinacionet e AI përbëjnë një kërcënim të ri për zinxhirin e furnizimit të softuerit

Në një zhvillim të ri të frikshëm për zhvilluesit dhe organizatat që mbështeten në inteligjencën artificiale për kodim, studiuesit kanë zbuluar një kërcënim të ri të zinxhirit të furnizimit të krijuar nga halucinacionet e AI në modelet që gjenerojnë kode. Ky vektor sulmi në zhvillim, i quajtur slopsquatting , mund të lejojë aktorët keqdashës të depërtojnë në ekosistemet softuerike duke përfituar nga paketat fiktive të halucinuara nga Modelet e Mëdha Gjuhësore (LLM).

Rreziku qëndron në faktin se LLM-të shpesh "halucinojnë" paketa - duke sugjeruar ose duke futur referenca për varësitë e softuerit që thjesht nuk ekzistojnë. Në hulumtimin e kryer së bashku nga Universiteti i Teksasit në San Antonio, Universiteti i Oklahomas dhe Virginia Tech, u zbulua se asnjë nga 16 LLM-të e njohura të testuara nuk ishin imun ndaj këtij fenomeni.

Çfarë është Slopsquatting dhe si funksionon?

Slopsquatting merr këtë të metë halucinacioni dhe e kthen atë në një armë. Kur një LLM sugjeron një paketë jo-ekzistente gjatë gjenerimit të kodit, kriminelët kibernetikë mund të regjistrojnë shpejt një paketë me qëllim të keq nën atë emër. Pasi të publikohet, çdo zhvillues që pranon kodin e gjeneruar nga AI me vlerën nominale mund të importojë dhe ekzekutojë pa vetëdije paketën me qëllim të keq. Kjo jo vetëm që komprometon projektin individual, por gjithashtu mund të përhapet në të gjithë zinxhirët e furnizimit të softuerit nëse kodi i infektuar ripërdoret ose shpërndahet.

Studimi zbuloi se nga 2.23 milionë paketa të krijuara në skenarët e testimit të Python dhe JavaScript, gati 440,000 - ose rreth 19.7% - kishin halucinacione. Prej tyre, 205,474 ishin emra unik fiktiv të paketave. Shumica e paketave me halucinacione - 81% - ishin unike për modelin specifik që i gjeneroi ato, duke treguar për sjellje të paqëndrueshme në LLM të ndryshme.

Modelet komerciale të inteligjencës artificiale kanë pako halucinacione në të paktën 5.2% të rasteve, ndërsa modelet me burim të hapur dolën dukshëm më keq me normat e halucinacioneve që arrijnë në 21.7%. Në mënyrë alarmante, këto gabime nuk ishin vetëm ngjarje të njëpasnjëshme. Mbi gjysma e paketave me halucinacione (58%) u shfaqën në mënyrë të përsëritur brenda vetëm 10 përsëritjeve, duke treguar një tendencë të qartë për këmbëngulje.

Rreziku në rritje i kodit të krijuar nga AI në zhvillimin e softuerit

Ndërsa studimet e mëparshme kanë pranuar kërcënimin e typosquatting - ku sulmuesit shfrytëzojnë emrat e paketave të shkruara gabim ose mashtruese - ky sulm i ri i slopsquatting përfaqëson një variant të anashkaluar dhe potencialisht shumë më të rrezikshëm. Ndryshe nga typosquatting, i cili pret gabimin njerëzor, slopsquatting përdor autoritetin e perceptuar dhe besueshmërinë e kodit të krijuar nga AI.

Ndoshta më interesante - dhe po aq shqetësuese - studiuesit zbuluan se LLM-të ishin në gjendje të njihnin shumë nga halucinacionet e tyre. Kjo sugjeron një potencial të pashfrytëzuar vetërregullues që mund të përdoret në mekanizmat e ardhshëm të sigurisë. Ai gjithashtu lë të kuptohet për mundësinë e vendosjes së mjeteve të zbulimit në model për të parandaluar shpërndarjen e kodit të gabuar ose të rrezikshëm.

Si mund të mbrohen zhvilluesit nga halucinacionet e paketës së AI

Për të kundërshtuar kërcënimin, studiuesit propozojnë një sërë masash zbutëse. Këto përfshijnë teknika të avancuara inxhinierike të shpejta, të tilla si Gjenerimi i Shtuar i Rikthimit (RAG), akordimi i shpejtë dhe vetëpërsosja. Në anën e zhvillimit të modelit, strategjitë si rregullimi i mbikëqyrur dhe algoritmet e përmirësuara të dekodimit mund të ndihmojnë në uljen e shkallës së halucinacioneve.

Ndërsa AI gjeneruese vazhdon të transformojë zhvillimin e softuerit, ky studim është një kujtesë e fortë se komoditeti mund të ketë një kosto. Zhvilluesit duhet të qëndrojnë vigjilentë dhe kritikë ndaj kodit të krijuar nga AI, veçanërisht kur bëhet fjalë për menaxhimin e varësisë. Integrimi i mjeteve të analizës statike dhe rishikimeve manuale përpara se të instaloni ndonjë paketë të rekomanduar është tani më i rëndësishëm se kurrë.

Peizazhi i kërcënimit po evoluon me shpejtësi, dhe siç tregon ky studim, duhet të ketë edhe mbrojtjet tona. Ajo që dikur dukej si fantashkencë – softueri që imagjinon AI që nuk ekziston – është bërë një shqetësim shumë i vërtetë i sigurisë kibernetike me implikime të gjera.