Галлюцинации ИИ представляют новую угрозу для цепочки поставок программного обеспечения

В леденящей душу новой разработке для разработчиков и организаций, полагающихся на искусственный интеллект для кодирования, исследователи обнаружили новую угрозу цепочке поставок, созданную галлюцинациями ИИ в моделях генерации кода. Этот новый вектор атаки, получивший название slopsquatting , может позволить злоумышленникам проникать в экосистемы программного обеспечения, используя фиктивные пакеты, галлюцинированные большими языковыми моделями (LLM).

Опасность заключается в том, что LLM часто «галлюцинируют» пакеты — предлагая или вставляя ссылки на зависимости программного обеспечения, которых просто не существует. В исследовании, проведенном совместно Техасским университетом в Сан-Антонио, Университетом Оклахомы и Virginia Tech, было обнаружено, что ни один из 16 популярных протестированных LLM не был застрахован от этого явления.

Что такое слопсквоттинг и как он работает?

Slopsquatting использует этот недостаток галлюцинации и превращает его в оружие. Когда LLM предлагает несуществующий пакет во время генерации кода, киберпреступники могут быстро зарегистрировать вредоносный пакет под этим именем. После публикации любой разработчик, который принимает сгенерированный ИИ код за чистую монету, может неосознанно импортировать и запустить вредоносный пакет. Это не только ставит под угрозу отдельный проект, но и может распространиться по всем цепочкам поставок программного обеспечения, если зараженный код используется повторно или совместно используется.

Исследование показало, что из 2,23 миллионов пакетов, сгенерированных в тестовых сценариях Python и JavaScript, почти 440 000 — или около 19,7% — были галлюцинациями. Из них ошеломляющие 205 474 были уникальными вымышленными именами пакетов. Большинство галлюцинированных пакетов — 81% — были уникальными для конкретной модели, которая их сгенерировала, что указывает на непоследовательное поведение в разных LLM.

Коммерческие модели ИИ галлюцинировали пакеты по крайней мере в 5,2% случаев, в то время как модели с открытым исходным кодом показали себя значительно хуже с показателями галлюцинаций, достигающими 21,7%. Тревожно, что эти ошибки были не просто разовыми случайностями. Более половины галлюцинированных пакетов (58%) появлялись повторно в течение всего лишь 10 итераций, показывая четкую тенденцию к настойчивости.

Растущий риск использования кода, сгенерированного ИИ, при разработке программного обеспечения

В то время как предыдущие исследования признавали угрозу тайпсквоттинга — когда злоумышленники используют неправильно набранные или вводящие в заблуждение имена пакетов, — эта новая атака слопсквоттинг представляет собой упущенный из виду и потенциально гораздо более опасный вариант. В отличие от тайпсквоттинга, который использует человеческие ошибки, слопсквоттинг использует воспринимаемую авторитетность и надежность кода, сгенерированного ИИ.

Возможно, самое интересное — и в равной степени тревожное — исследователи обнаружили, что LLM способны распознавать многие из своих собственных галлюцинаций. Это предполагает неиспользованный потенциал саморегуляции, который может быть использован в будущих механизмах безопасности. Это также намекает на возможность развертывания инструментов обнаружения в модели для предотвращения распространения неисправного или опасного кода.

Как разработчики могут защититься от галлюцинаций пакетов ИИ

Чтобы противостоять угрозе, исследователи предлагают ряд мер по смягчению. Они включают в себя передовые методы проектирования подсказок, такие как Retrieval Augmented Generation (RAG), настройка подсказок и самосовершенствование. Что касается разработки модели, такие стратегии, как контролируемая тонкая настройка и улучшенные алгоритмы декодирования, могут помочь снизить частоту галлюцинаций.

Поскольку генеративный ИИ продолжает преобразовывать разработку ПО, это исследование является суровым напоминанием о том, что удобство может стоить дорого. Разработчики должны оставаться бдительными и критически относиться к коду, сгенерированному ИИ, особенно когда речь идет об управлении зависимостями. Интеграция инструментов статического анализа и ручных проверок перед установкой любых рекомендуемых пакетов сейчас важнее, чем когда-либо.

Ландшафт угроз стремительно развивается, и, как показывает это исследование, должны меняться и наши средства защиты. То, что когда-то казалось научной фантастикой — ИИ, создающий программное обеспечение, которого не существует, — стало вполне реальной проблемой кибербезопасности с далеко идущими последствиями.