A mesterséges intelligencia hallucinációi új veszélyt jelentenek a szoftverellátási láncra

A fejlesztők és a kódolás során mesterséges intelligenciára támaszkodó szervezetek borzasztó új fejlesztése során a kutatók egy új ellátási lánc fenyegetést tártak fel, amelyet a mesterséges intelligencia hallucinációi okoznak kódgeneráló modellekben. Ez a feltörekvő támadási vektor, amelyet slopsquattingnak neveznek, lehetővé teheti a rosszindulatú szereplők számára, hogy beszivárogjanak a szoftveres ökoszisztémákba, kihasználva a Large Language Models (LLM) által hallucinált fiktív csomagokat.

A veszély abban rejlik, hogy az LLM-ek gyakran „hallucinálnak” csomagokat – egyszerűen nem létező szoftverfüggőségeket javasolnak vagy szúrnak be. A San Antonio-i Texasi Egyetem, az Oklahomai Egyetem és a Virginia Tech által közösen végzett kutatás során kiderült, hogy a tesztelt 16 népszerű LLM egyike sem volt immunis e jelenség ellen.

Mi az a Slopsquatting és hogyan működik?

A Slopsquatting elveszi ezt a hallucinációs hibát, és fegyverré változtatja. Amikor egy LLM nem létező csomagot javasol a kódgenerálás során, a kiberbűnözők gyorsan regisztrálhatnak egy rosszindulatú csomagot ezen a néven. A közzétételt követően bármely fejlesztő, aki névértéken elfogadja az AI által generált kódot, tudtán kívül importálhatja és futtathatja a rosszindulatú csomagot. Ez nem csak az egyedi projektet veszélyezteti, hanem a teljes szoftverellátási láncon is átterjedhet, ha a fertőzött kódot újrafelhasználják vagy megosztják.

A tanulmány megállapította, hogy a Python és JavaScript tesztforgatókönyvek során generált 2,23 millió csomagból csaknem 440 000 – vagyis körülbelül 19,7%-a – hallucinált. Ezek közül elképesztő 205 474 egyedi fiktív csomagnév volt. A legtöbb hallucinált csomag – 81% – az őket létrehozó konkrét modellre jellemző, ami a különböző LLM-ek közötti ellentmondásos viselkedésre utal.

A kereskedelmi mesterséges intelligencia modellek az esetek legalább 5,2%-ában hallucináltak csomagokat, míg a nyílt forráskódú modellek lényegesen rosszabbul jártak, a hallucinációk aránya elérte a 21,7%-ot. Riasztó, hogy ezek a hibák nem csak egyszeri véletlenek voltak. A hallucinált csomagok több mint fele (58%) ismételten megjelent mindössze 10 iteráción belül, ami egyértelmű tendenciát mutat a tartósságra.

A mesterséges intelligencia által generált kód növekvő kockázata a szoftverfejlesztésben

Míg a korábbi tanulmányok elismerték a typosquatting veszélyét – amikor a támadók félregépelt vagy félrevezető csomagneveket használnak ki – ez az új „slampsquatting” támadás egy figyelmen kívül hagyott és potenciálisan sokkal veszélyesebb változatot képvisel. A typosquatting-tól eltérően, amely az emberi hibákra támaszkodik, a slopsquatting az AI által generált kód vélt tekintélyét és megbízhatóságát használja fel.

A kutatók talán a leglenyűgözőbb – és ugyanilyen aggasztó – azt találták, hogy az LLM-ek képesek voltak felismerni saját hallucinációikat. Ez egy kiaknázatlan önszabályozási potenciálra utal, amelyet a jövőbeni biztonsági mechanizmusokban lehetne felhasználni. Arra is utal, hogy a hibás vagy veszélyes kódok terjesztésének megakadályozása érdekében modellen belüli észlelési eszközöket lehet telepíteni.

Hogyan védekezhetnek a fejlesztők az AI-csomag hallucinációi ellen

A fenyegetés ellensúlyozására a kutatók egy sor mérséklést javasolnak. Ide tartoznak a fejlett azonnali tervezési technikák, mint például a Retrieval Augmented Generation (RAG), az azonnali hangolás és az önfinomítás. A modellfejlesztési oldalon az olyan stratégiák, mint a felügyelt finomhangolás és a továbbfejlesztett dekódoló algoritmusok segíthetnek csökkenteni a hallucinációk arányát.

Mivel a generatív AI továbbra is átalakítja a szoftverfejlesztést, ez a tanulmány határozottan emlékeztet arra, hogy a kényelemnek ára is lehet. A fejlesztőknek ébernek és kritikusnak kell maradniuk a mesterséges intelligencia által generált kóddal szemben, különösen, ha a függőségek kezeléséről van szó. A statikus elemző eszközök és a kézi áttekintések integrálása az ajánlott csomagok telepítése előtt most fontosabb, mint valaha.

A fenyegetettség gyorsan fejlődik, és ahogy ez a kutatás is mutatja, védekezésünknek is ennek kell lennie. Ami egykor tudományos-fantasztikusnak tűnt – egy nem létező szoftvert képzelő mesterséges intelligencia –, nagyon is valóságos kiberbiztonsági aggodalommá vált, széles körű következményekkel.