هلوسات الذكاء الاصطناعي تشكل تهديدًا جديدًا لسلسلة توريد البرمجيات
في تطور جديد ومثير للقلق للمطورين والمؤسسات التي تعتمد على الذكاء الاصطناعي في البرمجة، كشف باحثون عن تهديد جديد لسلسلة التوريد ناجم عن هلوسات الذكاء الاصطناعي في نماذج توليد الأكواد. قد يسمح هذا الهجوم الناشئ، المعروف باسم "الاستيلاء غير المنظم" ، للجهات الخبيثة بالتسلل إلى أنظمة البرمجيات من خلال استغلال حزم وهمية مُصممة من قِبل نماذج اللغات الكبيرة (LLMs).
يكمن الخطر في أن برامج ماجستير القانون غالبًا ما تُوهم الحزم، فتُشير أو تُدرج إشارات إلى تبعيات برمجية غير موجودة. في بحثٍ مشترك أجرته جامعة تكساس في سان أنطونيو، وجامعة أوكلاهوما، وجامعة فرجينيا للتكنولوجيا، تبيّن أن أيًا من برامج ماجستير القانون الستة عشر الشائعة التي خضعت للاختبار لم تكن بمنأى عن هذه الظاهرة.
جدول المحتويات
ما هو Slopsquatting وكيف يعمل؟
يستغلّ التطفل غير المنظم هذا الخلل الوهمي ويحوّله إلى سلاح. عندما يقترح خبير في مجال البرمجيات حزمةً وهميةً أثناء توليد الشيفرة البرمجية، يستطيع مجرمو الإنترنت تسجيل حزمة خبيثة بسرعة بهذا الاسم. بمجرد نشرها، قد يستورد أي مطور يقبل الشيفرة البرمجية المُولّدة بالذكاء الاصطناعي بقيمتها الظاهرية الحزمة الخبيثة ويُشغّلها دون علمه. هذا لا يُعرّض المشروع للخطر فحسب، بل قد ينتشر أيضًا عبر سلاسل توريد البرمجيات بأكملها في حال إعادة استخدام الشيفرة المُصابة أو مشاركتها.
وجدت الدراسة أنه من بين 2.23 مليون حزمة مُولَّدة عبر سيناريوهات اختبار بايثون وجافا سكريبت، كان ما يقرب من 440,000 حزمة - أي حوالي 19.7% - وهمية. من بين هذه الحزم، كان هناك 205,474 اسمًا وهميًا فريدًا للحزم. معظم الحزم الوهمية - 81% - كانت فريدة للنموذج المُولِّد لها، مما يُشير إلى سلوكيات غير متسقة في مختلف برامج ماجستير إدارة الأعمال.
أظهرت نماذج الذكاء الاصطناعي التجارية حِزمًا وهمية في 5.2% على الأقل من الحالات، بينما كان أداء نماذج المصدر المفتوح أسوأ بكثير، حيث بلغت معدلات الهلوسة 21.7%. ومن المثير للقلق أن هذه الأخطاء لم تكن مجرد صدفة عابرة. فقد ظهر أكثر من نصف الحِزم الوهمية (58%) بشكل متكرر خلال 10 تكرارات فقط، مما يُظهر ميلًا واضحًا للاستمرار.
المخاطر المتزايدة للبرمجيات المُولّدة بواسطة الذكاء الاصطناعي في تطوير البرمجيات
في حين أقرت الدراسات السابقة بخطر التلاعب بالأحرف - حيث يستغل المهاجمون أسماء حزم مكتوبة بشكل خاطئ أو مضلل - فإن هجوم التلاعب بالأحرف الجديد هذا يمثل نوعًا مُغفَلًا عنه، وربما أكثر خطورة. فعلى عكس التلاعب بالأحرف، الذي يعتمد على الخطأ البشري، يستغل التلاعب بالأحرف ما يُفترض أنه موثوقية وموثوقية الكود المُولّد بالذكاء الاصطناعي.
ولعلّ الأكثر إثارةً للاهتمام - والمثير للقلق بنفس القدر - هو اكتشاف الباحثين أن نماذج LLM قادرة على تمييز العديد من هلوساتها. وهذا يُشير إلى إمكانات تنظيم ذاتي غير مستغلة يُمكن استخدامها في آليات السلامة المستقبلية. كما يُلمّح إلى إمكانية نشر أدوات كشف داخل النموذج لمنع انتشار الأكواد الخاطئة أو الخطيرة.
كيف يمكن للمطورين الحماية من هلوسات حزم الذكاء الاصطناعي
لمواجهة هذا التهديد، يقترح الباحثون مجموعة من التدابير التخفيفية. تشمل هذه التقنيات تقنيات هندسية سريعة متطورة مثل التوليد المعزز بالاسترجاع (RAG)، والضبط السريع، والتحسين الذاتي. أما في مجال تطوير النماذج، فيمكن لاستراتيجيات مثل الضبط الدقيق المُشرف عليه وخوارزميات فك التشفير المُحسّنة أن تُساعد في تقليل معدلات الهلوسة.
مع استمرار الذكاء الاصطناعي التوليدي في إحداث تحولات جذرية في تطوير البرمجيات، تُعدّ هذه الدراسة تذكيرًا صارخًا بأن الراحة قد تكون لها تكلفة. يجب على المطورين توخي الحذر والدقة في التعامل مع الأكواد البرمجية المُولّدة بواسطة الذكاء الاصطناعي، خاصةً فيما يتعلق بإدارة التبعيات. أصبح دمج أدوات التحليل الثابتة والمراجعات اليدوية قبل تثبيت أي حزم مُوصى بها أكثر أهمية من أي وقت مضى.
يتطور مشهد التهديدات بسرعة، وكما يُظهر هذا البحث، يجب أن تتطور دفاعاتنا أيضًا. ما بدا في السابق ضربًا من الخيال العلمي - ذكاء اصطناعي يتخيل برمجيات غير موجودة - أصبح مصدر قلق حقيقي في مجال الأمن السيبراني، وله تداعيات واسعة النطاق.