توهمات هوش مصنوعی تهدید جدیدی برای زنجیره تامین نرم افزار است

در یک توسعه جدید دلخراش برای توسعه‌دهندگان و سازمان‌هایی که برای کدنویسی به هوش مصنوعی تکیه می‌کنند، محققان یک تهدید زنجیره تامین جدیدی را کشف کرده‌اند که توسط توهمات هوش مصنوعی در مدل‌های تولید کد ایجاد شده است. این بردار حمله در حال ظهور، که slopsquatting نامیده می‌شود، می‌تواند به عوامل مخرب اجازه دهد تا با استفاده از بسته‌های ساختگی که توسط مدل‌های زبان بزرگ (LLM) توهم زده شده‌اند، به اکوسیستم‌های نرم‌افزار نفوذ کنند.

خطر در این واقعیت نهفته است که LLMها اغلب بسته‌ها را "توهم" می‌کنند - پیشنهاد یا درج ارجاعی به وابستگی‌های نرم‌افزاری که به سادگی وجود ندارند. در تحقیقاتی که به طور مشترک توسط دانشگاه تگزاس در سن آنتونیو، دانشگاه اوکلاهاما و ویرجینیا تک انجام شد، مشخص شد که هیچ یک از 16 LLM محبوب آزمایش شده از این پدیده مصون نیستند.

Slopsquatting چیست و چگونه کار می کند؟

Slopsquatting این نقص توهم را می گیرد و آن را به یک سلاح تبدیل می کند. هنگامی که یک LLM یک بسته غیر موجود را در طول تولید کد پیشنهاد می کند، مجرمان سایبری می توانند به سرعت یک بسته مخرب را تحت آن نام ثبت کنند. پس از انتشار، هر توسعه‌دهنده‌ای که کد تولید شده توسط هوش مصنوعی را به ارزش اسمی می‌پذیرد، ممکن است ناآگاهانه بسته مخرب را وارد کرده و اجرا کند. این نه تنها پروژه فردی را به خطر می اندازد، بلکه در صورت استفاده مجدد یا اشتراک گذاری کد آلوده، می تواند در کل زنجیره تامین نرم افزار منتشر شود.

این مطالعه نشان داد که از 2.23 میلیون بسته تولید شده در سناریوهای آزمایشی پایتون و جاوا اسکریپت، نزدیک به 440000 یا حدود 19.7 درصد دارای توهم بودند. از این تعداد، تعداد خیره کننده 205474 نام بسته های ساختگی منحصر به فرد بودند. بیشتر بسته‌های توهم‌آمیز - 81٪ - منحصر به مدل خاصی بودند که آنها را ایجاد کرد و به رفتارهای ناسازگار در LLM‌های مختلف اشاره داشت.

مدل‌های هوش مصنوعی تجاری حداقل در 5.2 درصد موارد بسته‌های توهم را ایجاد می‌کنند، در حالی که مدل‌های منبع باز به طور قابل‌توجهی بدتر بودند و نرخ توهم به 21.7 درصد رسید. نگران کننده است، این خطاها فقط تصادفات یکباره نبودند. بیش از نیمی از بسته های توهم زده (58٪) به طور مکرر تنها در 10 تکرار ظاهر شدند، که نشان دهنده تمایل واضح به ماندگاری است.

افزایش خطر کدهای تولید شده توسط هوش مصنوعی در توسعه نرم افزار

در حالی که مطالعات قبلی تهدید typosquatting را تایید کرده‌اند - جایی که مهاجمان از نام‌های بسته تایپ‌شده یا گمراه‌کننده سوء استفاده می‌کنند - این حمله جدید slopsquatting یک نوع نادیده گرفته شده و بالقوه بسیار خطرناک‌تر را نشان می‌دهد. برخلاف typosquatting که منجر به خطای انسانی می شود، slopsquatting از قدرت درک شده و قابل اعتماد بودن کد تولید شده توسط هوش مصنوعی بهره می برد.

شاید جالب‌ترین و به همان اندازه نگران‌کننده‌ترین محققان دریافتند که LLMها قادر به تشخیص بسیاری از توهمات خود هستند. این یک پتانسیل خودتنظیمی استفاده نشده را نشان می دهد که می تواند در مکانیسم های ایمنی آینده استفاده شود. همچنین به امکان استقرار ابزارهای تشخیص در مدل برای جلوگیری از توزیع کد معیوب یا خطرناک اشاره می کند.

چگونه توسعه دهندگان می توانند در برابر توهمات بسته هوش مصنوعی محافظت کنند

برای مقابله با این تهدید، محققان طیف وسیعی از کاهش ها را پیشنهاد می کنند. اینها شامل تکنیک‌های مهندسی سریع پیشرفته مانند بازیابی نسل افزوده (RAG)، تنظیم سریع و اصلاح خود می‌شود. در سمت توسعه مدل، استراتژی هایی مانند تنظیم دقیق نظارت شده و الگوریتم های رمزگشایی بهبود یافته می تواند به کاهش نرخ توهم کمک کند.

همانطور که هوش مصنوعی مولد به تغییر توسعه نرم افزار ادامه می دهد، این مطالعه یادآوری واضحی است که راحتی می تواند هزینه داشته باشد. توسعه‌دهندگان باید مراقب کدهای تولید شده توسط هوش مصنوعی باشند، به‌ویژه وقتی صحبت از مدیریت وابستگی به میان می‌آید. ادغام ابزارهای تجزیه و تحلیل استاتیک و بررسی های دستی قبل از نصب هر بسته توصیه شده اکنون بیش از همیشه مهم است.

چشم انداز تهدید به سرعت در حال تحول است، و همانطور که این تحقیق نشان می دهد، دفاع ما نیز باید همینطور باشد. چیزی که زمانی شبیه به داستان های علمی تخیلی به نظر می رسید - نرم افزارهای تخیل هوش مصنوعی که وجود ندارند - به یک نگرانی واقعی امنیت سایبری با پیامدهای گسترده تبدیل شده است.