AI халюцинации представляват нова заплаха за веригата за доставки на софтуер
В смразяваща нова разработка за разработчици и организации, разчитащи на изкуствен интелект за кодиране, изследователите откриха нова заплаха за веригата за доставки, създадена от AI халюцинации в модели за генериране на код. Този нововъзникващ вектор на атака, наречен slopsquatting , може да позволи на злонамерени участници да проникнат в софтуерните екосистеми, като се възползват от фиктивни пакети, халюцинирани от големи езикови модели (LLM).
Опасността се крие във факта, че LLM често "халюцинират" пакети - предлагайки или вмъквайки препратки към софтуерни зависимости, които просто не съществуват. В изследване, проведено съвместно от Университета на Тексас в Сан Антонио, Университета на Оклахома и Virginia Tech, беше открито, че нито един от 16-те популярни тествани LLMs не е имунизиран срещу това явление.
Съдържание
Какво е Slopsquatting и как работи?
Slopsquatting взема този халюцинационен недостатък и го превръща в оръжие. Когато LLM предложи несъществуващ пакет по време на генериране на код, киберпрестъпниците могат бързо да регистрират злонамерен пакет под това име. Веднъж публикуван, всеки разработчик, който приема генерирания от AI код за номинална стойност, може несъзнателно да импортира и стартира злонамерения пакет. Това не само компрометира отделния проект, но може също така да се разпространи в цялата верига за доставка на софтуер, ако заразеният код бъде използван повторно или споделен.
Проучването установи, че от 2,23 милиона пакета, генерирани чрез тестови сценарии на Python и JavaScript, близо 440 000 - или около 19,7% - са халюцинирани. От тях зашеметяващите 205 474 бяха уникални измислени имена на пакети. Повечето халюцинирани пакети – 81% – са уникални за конкретния модел, който ги е генерирал, сочейки непоследователно поведение в различните LLM.
Комерсиалните AI модели халюцинират пакети в най-малко 5,2% от случаите, докато моделите с отворен код се справят значително по-зле с нива на халюцинации, достигащи 21,7%. Тревожно е, че тези грешки не са просто еднократни случайности. Над половината от халюцинираните пакети (58%) се появяват многократно в рамките на само 10 повторения, показвайки ясна тенденция за постоянство.
Нарастващият риск от код, генериран от изкуствен интелект при разработката на софтуер
Докато предишни проучвания признават заплахата от typosquatting – при което нападателите използват грешно въведени или подвеждащи имена на пакети – тази нова slopsquatting атака представлява пренебрегван и потенциално много по-опасен вариант. За разлика от typosquatting, който се основава на човешка грешка, slopsquatting използва възприеманата власт и надеждност на кода, генериран от AI.
Може би най-очарователното - и също толкова обезпокоително - изследователите откриха, че LLM са способни да разпознават много от собствените си халюцинации. Това предполага неизползван потенциал за саморегулиране, който може да се използва в бъдещи механизми за безопасност. Той също така намеква за възможността за внедряване на инструменти за откриване в модела, за да се предотврати разпространението на грешен или опасен код.
Как разработчиците могат да се предпазят от халюцинации на AI пакети
За да се противопоставят на заплахата, изследователите предлагат набор от смекчаващи мерки. Те включват усъвършенствани техники за бързо инженерство, като Retrieval Augmented Generation (RAG), бърза настройка и самоусъвършенстване. От страна на разработването на модела, стратегии като контролирана фина настройка и подобрени алгоритми за декодиране могат да помогнат за намаляване на честотата на халюцинациите.
Тъй като генеративният AI продължава да трансформира разработката на софтуер, това проучване е ярко напомняне, че удобството може да има цена. Разработчиците трябва да останат бдителни и критични към кода, генериран от AI, особено когато става въпрос за управление на зависимостите. Интегрирането на инструменти за статичен анализ и ръчни прегледи преди инсталиране на препоръчани пакети сега е по-важно от всякога.
Пейзажът на заплахите се развива бързо и както показва това изследване, това трябва да се случи и с нашите защити. Това, което някога изглеждаше като научна фантастика – AI, който си представя софтуер, който не съществува – се превърна в много реален проблем за киберсигурността с широкообхватни последици.