Les al·lucinacions d'IA suposen una nova amenaça per a la cadena de subministrament de programari
En un nou desenvolupament esgarrifós per a desenvolupadors i organitzacions que confien en la intel·ligència artificial per a la codificació, els investigadors han descobert una nova amenaça de la cadena de subministrament creada per les al·lucinacions d'IA en models de generació de codi. Aquest vector d'atac emergent, anomenat slopsquatting , podria permetre que actors maliciosos s'infiltrin en ecosistemes de programari aprofitant paquets ficticis al·lucinats pels grans models de llenguatge (LLM).
El perill rau en el fet que els LLM sovint "al·lucinen" paquets, suggerint o inserint referències a dependències de programari que simplement no existeixen. En una investigació realitzada conjuntament per la Universitat de Texas a San Antonio, la Universitat d'Oklahoma i Virginia Tech, es va descobrir que cap dels 16 LLM populars provats era immune a aquest fenomen.
Taula de continguts
Què és Slopsquatting i com funciona?
Slopsquatting agafa aquest defecte d'al·lucinació i el converteix en una arma. Quan un LLM suggereix un paquet inexistent durant la generació de codi, els cibercriminals poden registrar ràpidament un paquet maliciós amb aquest nom. Un cop publicat, qualsevol desenvolupador que accepti el codi generat per IA amb valor nominal pot importar i executar el paquet maliciós sense saber-ho. Això no només compromet el projecte individual, sinó que també es podria propagar per cadenes de subministrament de programari senceres si el codi infectat es reutilitza o es comparteix.
L'estudi va trobar que dels 2,23 milions de paquets generats en escenaris de prova de Python i JavaScript, gairebé 440.000, o al voltant del 19,7%, estaven al·lucinats. D'aquests, un sorprenent 205.474 eren noms de paquets ficticis únics. La majoria dels paquets al·lucinats (el 81%) eren exclusius del model específic que els va generar, i apuntaven a comportaments inconsistents en diferents LLM.
Els models comercials d'IA van al·lucinar paquets en almenys el 5,2% dels casos, mentre que els models de codi obert van anar molt pitjor amb les taxes d'al·lucinació que van assolir el 21,7%. De manera alarmant, aquests errors no van ser només casualitats puntuals. Més de la meitat dels paquets al·lucinats (58%) van aparèixer repetidament en només 10 iteracions, mostrant una clara tendència a la persistència.
El risc creixent del codi generat per IA en el desenvolupament de programari
Tot i que estudis anteriors han reconegut l'amenaça de l'escassetat ortogràfic, on els atacants exploten noms de paquets mal escrits o enganyosos, aquest nou atac de slopsquatting representa una variant passat per alt i potencialment molt més perillosa. A diferència del typosquatting, que es basa en l'error humà, el slopsquatting aprofita l'autoritat percebuda i la fiabilitat del codi generat per IA.
Potser el més fascinant, i igualment preocupant, els investigadors van trobar que els LLM eren capaços de reconèixer moltes de les seves pròpies al·lucinacions. Això suggereix un potencial d'autoregulació sense explotar que es podria utilitzar en mecanismes de seguretat futurs. També insinua la possibilitat de desplegar eines de detecció en el model per evitar la distribució de codi defectuós o perillós.
Com poden protegir els desenvolupadors contra les al·lucinacions de paquets d'IA
Per contrarestar l'amenaça, els investigadors proposen una sèrie de mitigacions. Aquests inclouen tècniques avançades d'enginyeria ràpida com ara la generació augmentada de recuperació (RAG), l'ajustament ràpid i l'auto-refinament. Pel que fa al desenvolupament del model, estratègies com l'afinació supervisada i els algorismes de descodificació millorats podrien ajudar a reduir les taxes d'al·lucinació.
A mesura que la IA generativa continua transformant el desenvolupament de programari, aquest estudi és un recordatori contundent que la comoditat pot tenir un cost. Els desenvolupadors han de mantenir-se vigilants i crítics amb el codi generat per IA, especialment quan es tracta de la gestió de dependències. Integrar eines d'anàlisi estàtica i revisions manuals abans d'instal·lar qualsevol paquet recomanat és ara més important que mai.
El panorama de les amenaces està evolucionant ràpidament i, tal com mostra aquesta investigació, també ho han de fer les nostres defenses. El que abans semblava ciència-ficció, l'IA imaginant programari que no existeix, s'ha convertit en una preocupació de ciberseguretat molt real amb implicacions d'ampli abast.