Halucinace umělé inteligence představují novou hrozbu pro dodavatelský řetězec softwaru

V mrazivém novém vývoji pro vývojáře a organizace, které se při kódování spoléhají na umělou inteligenci, odhalili výzkumníci novou hrozbu dodavatelského řetězce vytvořenou halucinacemi umělé inteligence v modelech generujících kód. Tento vznikající útočný vektor, nazývaný slopsquatting , by mohl umožnit zlomyslným aktérům proniknout do softwarových ekosystémů využitím fiktivních balíčků halucinovaných velkými jazykovými modely (LLM).

Nebezpečí spočívá ve skutečnosti, že LLM často „halucinují“ balíčky – navrhují nebo vkládají odkazy na softwarové závislosti, které prostě neexistují. Ve výzkumu, který společně provedly University of Texas v San Antoniu, University of Oklahoma a Virginia Tech, bylo zjištěno, že žádný z 16 populárních testovaných LLM nebyl vůči tomuto jevu imunní.

Co je to Slopsquatting a jak funguje?

Slopsquatting bere tuto halucinační chybu a mění ji ve zbraň. Když LLM během generování kódu navrhne neexistující balíček, kyberzločinci mohou rychle zaregistrovat škodlivý balíček pod tímto jménem. Po zveřejnění může každý vývojář, který přijme kód vygenerovaný AI v nominální hodnotě, nevědomky importovat a spustit škodlivý balíček. To nejen ohrozí jednotlivý projekt, ale může se také rozšířit napříč celým softwarovým dodavatelským řetězcem, pokud je infikovaný kód znovu použit nebo sdílen.

Studie zjistila, že z 2,23 milionů balíčků vygenerovaných v testovacích scénářích Pythonu a JavaScriptu bylo téměř 440 000 – tedy asi 19,7 % – halucinovaných. Z toho ohromujících 205 474 byly unikátní fiktivní názvy balíčků. Většina halucinovaných balíčků – 81 % – byla jedinečná pro konkrétní model, který je vygeneroval, což poukazuje na nekonzistentní chování v různých LLM.

Komerční modely umělé inteligence způsobily halucinace balíčků v nejméně 5,2 % případů, zatímco modely s otevřeným zdrojovým kódem dopadly výrazně hůře s mírou halucinací atakující 21,7 %. Alarmující je, že tyto chyby nebyly jen jednorázové náhody. Více než polovina balíčků s halucinacemi (58 %) se objevila opakovaně během pouhých 10 iterací, což ukazuje jasnou tendenci k přetrvávání.

Rostoucí riziko kódu generovaného umělou inteligencí při vývoji softwaru

Zatímco předchozí studie uznaly hrozbu typosquattingu – kde útočníci využívají chybně zadané nebo zavádějící názvy balíčků – tento nový útok typu slopsquatting představuje přehlíženou a potenciálně mnohem nebezpečnější variantu. Na rozdíl od typosquattingu, který využívá lidské chyby, slopsquatting využívá vnímanou autoritu a důvěryhodnost kódu generovaného umělou inteligencí.

Možná nejvíce fascinující - a stejně znepokojující - výzkumníci zjistili, že LLM byly schopny rozpoznat mnoho ze svých vlastních halucinací. To naznačuje nevyužitý samoregulační potenciál, který by mohl být využit v budoucích bezpečnostních mechanismech. Naznačuje také možnost nasazení nástrojů detekce v modelu, aby se zabránilo distribuci chybného nebo nebezpečného kódu.

Jak se mohou vývojáři chránit před halucinacemi balíčků AI

Aby bylo možné hrozbě čelit, vědci navrhují řadu zmírnění. Patří mezi ně pokročilé techniky rychlého inženýrství, jako je Retrieval Augmented Generation (RAG), rychlé ladění a sebezdokonalování. Na straně vývoje modelu by strategie, jako je řízené jemné ladění a vylepšené dekódovací algoritmy, mohly pomoci snížit míru halucinací.

Vzhledem k tomu, že generativní umělá inteligence pokračuje v transformaci vývoje softwaru, tato studie jasně připomíná, že pohodlí může něco stát. Vývojáři musí zůstat ostražití a kritičtí vůči kódu generovanému AI, zejména pokud jde o správu závislostí. Integrace nástrojů statické analýzy a ručních kontrol před instalací jakýchkoli doporučených balíčků je nyní důležitější než kdy jindy.

Oblast hrozeb se rychle vyvíjí, a jak ukazuje tento výzkum, musí se také vyvíjet naše obrana. To, co se dříve zdálo jako sci-fi – software zobrazující umělou inteligenci, který neexistuje – se stalo velmi skutečným problémem kybernetické bezpečnosti s dalekosáhlými důsledky.