人工智慧幻覺對軟體供應鏈構成新威脅

對於依賴人工智慧進行編碼的開發人員和組織來說，這是一個令人不寒而慄的新發展，研究人員發現了代碼生成模型中的人工智慧幻覺造成的新型供應鏈威脅。這種被稱為slopsquatting的新興攻擊媒介可以讓惡意行為者利用大型語言模型 (LLM) 產生的虛構包滲透到軟體生態系統中。

危險在於，LLM 經常會對軟體包產生「幻覺」——建議或插入根本不存在的軟體依賴項的引用。德州大學聖安東尼奧分校、俄克拉荷馬大學和維吉尼亞理工大學共同進行的一項研究發現，接受測試的 16 個熱門法學碩士學位課程無一免受這種現象的影響。

什麼是 Slopsquatting 以及它是如何運作的？

Slopsquatting 利用了這種幻覺缺陷並將其轉化為武器。當 LLM 在程式碼產生過程中建議一個不存在的套件時，網路犯罪分子可以快速以該名稱註冊一個惡意套件。一旦發布，任何接受 AI 生成程式碼的開發人員都可能不知不覺地匯入並運行惡意套件。這不僅會危及單一項目，而且如果受感染的程式碼重複使用或共享，還可能蔓延到整個軟體供應鏈。

研究發現，在 Python 和 JavaScript 測試場景中產生的 223 萬個套件中，近 44 萬個（約佔 19.7%）是幻覺套件。其中，獨特的虛構軟體包名稱高達 205,474 個。大多數幻覺包（81%）對於產生它們的特定模型都是獨一無二的，這表明不同 LLM 之間的行為不一致。

商業 AI 模型至少在 5.2% 的情況下產生了幻覺包裹，而開源模型的情況則明顯更糟，幻覺率高達 21.7%。令人震驚的是，這些錯誤並非只是一次性的僥倖。超過一半的幻覺包裹（58%）在短短 10 次迭代內重複出現，顯示出明顯的持久性趨勢。

人工智慧生成程式碼在軟體開發中的風險不斷上升

雖然先前的研究已經承認域名搶注的威脅——攻擊者利用錯誤輸入或誤導性的軟體包名稱——但這種新的域名搶注攻擊是一種被忽視的、可能更加危險的變體。與利用人為錯誤的網域搶注不同，網域搶注利用的是人工智慧產生的程式碼的權威性和可信度。

也許最令人著迷——同樣令人擔憂——研究人員發現法學碩士能夠識別自己的許多幻覺。這表明尚未開發的自我調節潛力可用於未來的安全機制。它也暗示了部署模型內偵測工具的可能性，以防止錯誤或危險程式碼的傳播。

開發人員如何防範 AI 軟體包幻覺

為了應對威脅，研究人員提出了一系列緩解措施。這些包括先進的提示工程技術，例如檢索增強生成 (RAG)、提示調整和自我改進。在模型開發方面，監督微調和改進的解碼演算法等策略可以幫助降低幻覺率。

隨著生成式人工智慧持續改變軟體開發，這項研究清楚地提醒我們，便利性是有代價的。開發人員必須對 AI 生成的程式碼保持警惕和批判性，尤其是在依賴管理方面。在安裝任何推薦的軟體包之前整合靜態分析工具和手動審查現在比以往任何時候都更加重要。

威脅情勢正在迅速演變，正如這項研究所表明的那樣，我們的防禦也必須如此。人工智慧想像出並不存在的軟體，這曾經看起來像是科幻小說，但如今已成為一個非常現實的網路安全問題，具有深遠的影響。