Halusinasi AI Menimbulkan Ancaman Baharu kepada Rantaian Bekalan Perisian

Dalam perkembangan baharu yang menyeramkan untuk pembangun dan organisasi yang bergantung pada kecerdasan buatan untuk pengekodan, penyelidik telah menemui ancaman rantaian bekalan baru yang dicipta oleh halusinasi AI dalam model penjanaan kod. Vektor serangan yang muncul ini, digelar slopsquatting , boleh membenarkan pelakon yang berniat jahat menyusup ke dalam ekosistem perisian dengan mengambil kesempatan daripada pakej rekaan yang dikhayalkan oleh Model Bahasa Besar (LLM).

Bahayanya terletak pada fakta bahawa LLM sering "menghaluskan" pakej—mencadangkan atau memasukkan rujukan kepada kebergantungan perisian yang tidak wujud. Dalam penyelidikan yang dijalankan bersama oleh Universiti Texas di San Antonio, Universiti Oklahoma dan Virginia Tech, didapati bahawa tiada satu pun daripada 16 LLM popular yang diuji kebal terhadap fenomena ini.

Apakah Slopsquatting dan Bagaimana Ia Berfungsi?

Slopsquatting mengambil kecacatan halusinasi ini dan mengubahnya menjadi senjata. Apabila LLM mencadangkan pakej yang tidak wujud semasa penjanaan kod, penjenayah siber boleh mendaftarkan pakej berniat jahat dengan cepat di bawah nama itu. Setelah diterbitkan, mana-mana pembangun yang menerima kod yang dijana AI pada nilai muka mungkin secara tidak sedar mengimport dan menjalankan pakej berniat jahat itu. Ini bukan sahaja menjejaskan projek individu tetapi juga boleh merebak ke seluruh rangkaian bekalan perisian jika kod yang dijangkiti digunakan semula atau dikongsi.

Kajian mendapati bahawa daripada 2.23 juta pakej yang dijana merentas senario ujian Python dan JavaScript, hampir 440,000—atau kira-kira 19.7%—telah berhalusinasi. Daripada jumlah ini, 205,474 yang mengejutkan adalah nama pakej rekaan yang unik. Kebanyakan pakej berhalusinasi—81%—adalah unik kepada model khusus yang menjananya, menunjuk kepada tingkah laku yang tidak konsisten merentas LLM yang berbeza.

Model AI komersial mengkhayalkan pakej dalam sekurang-kurangnya 5.2% daripada kes, manakala model sumber terbuka menjadi lebih teruk dengan kadar halusinasi mencecah 21.7%. Yang membimbangkan, kesilapan ini bukan hanya kebetulan sekali. Lebih separuh daripada pakej halusinasi (58%) muncul berulang kali dalam hanya 10 lelaran, menunjukkan kecenderungan yang jelas untuk kegigihan.

Risiko Peningkatan Kod Dijana AI dalam Pembangunan Perisian

Walaupun kajian terdahulu telah mengakui ancaman typosquatting—di mana penyerang mengeksploitasi nama pakej yang salah taip atau mengelirukan—serangan slopsquatting baharu ini mewakili varian yang diabaikan dan berpotensi jauh lebih berbahaya. Tidak seperti typosquatting, yang memangsa kesilapan manusia, slopsquatting memanfaatkan kuasa yang dirasakan dan kebolehpercayaan kod yang dijana AI.

Mungkin yang paling menarik—dan juga membimbangkan—para penyelidik mendapati bahawa LLM mampu mengenali banyak halusinasi mereka sendiri. Ini mencadangkan potensi kawal selia kendiri yang belum diterokai yang boleh digunakan dalam mekanisme keselamatan masa hadapan. Ia juga membayangkan kemungkinan menggunakan alat pengesan dalam model untuk mengelakkan pengedaran kod yang rosak atau berbahaya.

Bagaimana Pembangun boleh Melindungi daripada Halusinasi Pakej AI

Untuk mengatasi ancaman itu, para penyelidik mencadangkan pelbagai mitigasi. Ini termasuk teknik kejuruteraan segera lanjutan seperti Retrieval Augmented Generation (RAG), penalaan segera dan pemurnian diri. Dari segi pembangunan model, strategi seperti penalaan halus diselia dan algoritma penyahkodan yang dipertingkatkan boleh membantu mengurangkan kadar halusinasi.

Memandangkan AI generatif terus mengubah pembangunan perisian, kajian ini merupakan peringatan yang jelas bahawa kemudahan boleh datang dengan kos. Pembangun mesti sentiasa berwaspada dan kritikal terhadap kod yang dijana AI, terutamanya apabila ia berkaitan dengan pengurusan pergantungan. Mengintegrasikan alat analisis statik dan ulasan manual sebelum memasang sebarang pakej yang disyorkan kini lebih penting berbanding sebelum ini.

Landskap ancaman sedang berkembang pesat, dan seperti yang ditunjukkan oleh penyelidikan ini, pertahanan kita juga harus dilakukan. Perkara yang pernah kelihatan seperti fiksyen sains—perisian membayangkan AI yang tidak wujud—telah menjadi kebimbangan keselamatan siber yang sangat nyata dengan implikasi yang meluas.