АИ халуцинације представљају нову претњу ланцу снабдевања софтвером

У застрашујућем новом развоју за програмере и организације које се ослањају на вештачку интелигенцију за кодирање, истраживачи су открили нову претњу у ланцу снабдевања коју стварају АИ халуцинације у моделима за генерисање кода. Овај вектор напада у настајању, назван слопскуаттинг , могао би да дозволи злонамерним актерима да се инфилтрирају у софтверске екосистеме користећи предности фиктивних пакета које халуцинирају велики језички модели (ЛЛМ).

Опасност лежи у чињеници да ЛЛМ често „халуцинирају“ пакете — предлажући или убацујући референце на софтверске зависности које једноставно не постоје. У истраживању које су заједнички спровели Универзитет Тексас у Сан Антонију, Универзитет Оклахома и Виргиниа Тецх, откривено је да ниједан од 16 популарних тестираних ЛЛМ није имун на овај феномен.

Шта је Слопскуаттинг и како функционише?

Слопскуаттинг узима ову ману халуцинације и претвара је у оружје. Када ЛЛМ предложи непостојећи пакет током генерисања кода, сајбер криминалци могу брзо да региструју злонамерни пакет под тим именом. Када буде објављен, сваки програмер који прихвата код генерисан вештачком интелигенцијом по номиналној вредности може несвесно да увезе и покрене злонамерни пакет. Ово не само да компромитује појединачни пројекат, већ би се такође могло ширити кроз читаве ланце набавке софтвера ако се заражени код поново користи или дели.

Студија је открила да је од 2,23 милиона пакета генерисаних у Питхон и ЈаваСцрипт сценаријима тестирања, скоро 440.000 — или око 19,7% — било халуцинирано. Од тога, невероватних 205.474 су била јединствена фиктивна имена пакета. Већина халуцинираних пакета — 81% — били су јединствени за специфични модел који их је генерисао, указујући на неконзистентно понашање у различитим ЛЛМ-овима.

Комерцијални АИ модели халуцинирали су пакете у најмање 5,2% случајева, док су модели отвореног кода прошли знатно лошије са стопом халуцинација од 21,7%. Забрињавајуће је да ове грешке нису биле само једнократне случајности. Преко половине халуцинисаних пакета (58%) појавило се више пута у року од само 10 итерација, показујући јасну тенденцију упорности.

Све већи ризик кода генерисаног вештачком интелигенцијом у развоју софтвера

Док су претходне студије признале претњу од куцања – где нападачи користе погрешне или обмањујуће називе пакета – овај нови напад слопскуаттинг-а представља занемарену и потенцијално далеко опаснију варијанту. За разлику од куцања, које претендује на људску грешку, слопскуаттинг користи уочени ауторитет и поузданост кода генерисаног вештачком интелигенцијом.

Можда најфасцинантније - и подједнако забрињавајуће - истраживачи су открили да су ЛЛМ способни да препознају многе од својих халуцинација. Ово указује на неискоришћен потенцијал саморегулације који би се могао користити у будућим сигурносним механизмима. Такође наговештава могућност примене алата за детекцију у моделу како би се спречила дистрибуција неисправног или опасног кода.

Како програмери могу да се заштите од халуцинација АИ пакета

Да би се супротставили претњи, истраживачи предлажу низ ублажавања. Ово укључује напредне технике брзог инжењеринга као што је проширена генерација проналажења (РАГ), брзо подешавање и само-рафинирање. На страни развоја модела, стратегије као што су надгледано фино подешавање и побољшани алгоритми декодирања могу помоћи у смањењу стопе халуцинација.

Како генеративна АИ наставља да трансформише развој софтвера, ова студија је оштар подсетник да погодност може имати цену. Програмери морају остати опрезни и критични према коду генерисаном вештачком интелигенцијом, посебно када је у питању управљање зависношћу. Интегрисање алата за статичку анализу и ручних прегледа пре инсталирања било којег препорученог пакета сада је важније него икад.

Пејзаж претњи се убрзано развија, а као што ово истраживање показује, мора и наша одбрана. Оно што је некада изгледало као научна фантастика — АИ замишљајући софтвер који не постоји — постало је веома стварна брига за сајбер безбедност са широким импликацијама.