Halucinațiile AI reprezintă o nouă amenințare pentru lanțul de aprovizionare cu software

Într-o nouă dezvoltare înfricoșătoare pentru dezvoltatori și organizații care se bazează pe inteligența artificială pentru codare, cercetătorii au descoperit o nouă amenințare a lanțului de aprovizionare creată de halucinațiile AI în modelele generatoare de coduri. Acest vector de atac emergent, numit slopsquatting , ar putea permite actorilor rău intenționați să se infiltreze în ecosistemele software, profitând de pachetele fictive halucinate de Large Language Models (LLM).

Pericolul constă în faptul că LLM-urile „halucinează” adesea pachetele – sugerând sau inserând referințe la dependențe de software care pur și simplu nu există. În cadrul cercetărilor efectuate în comun de Universitatea din Texas din San Antonio, Universitatea din Oklahoma și Virginia Tech, s-a descoperit că niciunul dintre cele 16 LLM populare testate nu a fost imun la acest fenomen.

Ce este Slopsquatting și cum funcționează?

Slopsquatting ia acest defect al halucinației și îl transformă într-o armă. Când un LLM sugerează un pachet inexistent în timpul generării codului, infractorii cibernetici pot înregistra rapid un pachet rău intenționat sub acest nume. Odată publicat, orice dezvoltator care acceptă codul generat de AI la valoarea nominală poate importa și rula, fără să știe, pachetul rău intenționat. Acest lucru nu numai că compromite proiectul individual, ci s-ar putea propaga și pe întregul lanț de aprovizionare cu software dacă codul infectat este reutilizat sau partajat.

Studiul a constatat că din 2,23 milioane de pachete generate în scenariile de testare Python și JavaScript, aproape 440.000 – sau aproximativ 19,7% – au fost halucinate. Dintre acestea, 205.474 au fost nume de pachete fictive unice. Cele mai multe pachete halucinate – 81% – au fost unice pentru modelul specific care le-a generat, indicând comportamente inconsecvente în diferite LLM-uri.

Modelele comerciale de inteligență artificială au halucinat pachete în cel puțin 5,2% din cazuri, în timp ce modelele cu sursă deschisă s-au descurcat semnificativ mai rău, ratele halucinațiilor atingând 21,7%. În mod alarmant, aceste erori nu au fost doar întâmplări unice. Peste jumătate dintre pachetele halucinate (58%) au apărut în mod repetat în doar 10 iterații, arătând o tendință clară de persistență.

Riscul în creștere al codului generat de AI în dezvoltarea de software

În timp ce studiile anterioare au recunoscut amenințarea typosquatting - în cazul în care atacatorii exploatează nume de pachete greșite sau înșelătoare - acest nou atac de slopsquatting reprezintă o variantă trecută cu vederea și potențial mult mai periculoasă. Spre deosebire de typosquatting, care se bazează pe eroarea umană, slopsquatting valorifică autoritatea percepută și credibilitatea codului generat de AI.

Poate cel mai fascinant – și la fel de îngrijorător – cercetătorii au descoperit că LLM-urile erau capabile să recunoască multe dintre propriile halucinații. Acest lucru sugerează un potențial de autoreglementare neexploatat care ar putea fi utilizat în viitoarele mecanisme de siguranță. De asemenea, indică posibilitatea implementării instrumentelor de detectare în model pentru a preveni distribuirea de coduri defecte sau periculoase.

Cum se pot proteja dezvoltatorii împotriva halucinațiilor pachetelor AI

Pentru a contracara amenințarea, cercetătorii propun o serie de atenuări. Acestea includ tehnici avansate de inginerie promptă, cum ar fi Retrieval Augmented Generation (RAG), reglare promptă și auto-rafinare. În ceea ce privește dezvoltarea modelului, strategii precum reglarea fină supravegheată și algoritmii de decodare îmbunătățiți ar putea ajuta la reducerea ratelor halucinațiilor.

Pe măsură ce IA generativă continuă să transforme dezvoltarea software-ului, acest studiu este un memento clar că comoditatea poate avea un cost. Dezvoltatorii trebuie să rămână vigilenți și să critice codul generat de AI, mai ales când vine vorba de gestionarea dependenței. Integrarea instrumentelor de analiză statică și a revizuirilor manuale înainte de a instala orice pachet recomandat este acum mai importantă ca niciodată.

Peisajul amenințărilor evoluează rapid și, după cum arată această cercetare, la fel trebuie să facă și apărarea noastră. Ceea ce părea cândva ficțiune științifico-fantastică – AI imaginând software care nu există – a devenit o preocupare foarte reală de securitate cibernetică, cu implicații de anvergură.