Ảo giác AI gây ra mối đe dọa mới cho chuỗi cung ứng phần mềm

Trong một diễn biến mới đáng sợ dành cho các nhà phát triển và tổ chức dựa vào trí tuệ nhân tạo để mã hóa, các nhà nghiên cứu đã phát hiện ra một mối đe dọa chuỗi cung ứng mới do ảo giác AI tạo ra trong các mô hình tạo mã. Vectơ tấn công mới nổi này, được gọi là slopsquatting , có thể cho phép các tác nhân độc hại xâm nhập vào hệ sinh thái phần mềm bằng cách tận dụng các gói hư cấu được tạo ra bởi Mô hình ngôn ngữ lớn (LLM).

Nguy hiểm nằm ở chỗ các LLM thường "ảo giác" các gói - gợi ý hoặc chèn tham chiếu đến các phần mềm phụ thuộc mà đơn giản là không tồn tại. Trong nghiên cứu do Đại học Texas tại San Antonio, Đại học Oklahoma và Virginia Tech tiến hành chung, người ta phát hiện ra rằng không có LLM nào trong số 16 LLM phổ biến được thử nghiệm là miễn nhiễm với hiện tượng này.

Slopsquatting là gì và nó hoạt động như thế nào?

Slopsquatting lấy lỗi ảo giác này và biến nó thành vũ khí. Khi một LLM gợi ý một gói không tồn tại trong quá trình tạo mã, tội phạm mạng có thể nhanh chóng đăng ký một gói độc hại dưới tên đó. Sau khi được công bố, bất kỳ nhà phát triển nào chấp nhận mã do AI tạo ra theo đúng nghĩa đen có thể vô tình nhập và chạy gói độc hại. Điều này không chỉ gây nguy hiểm cho từng dự án mà còn có thể lan truyền trên toàn bộ chuỗi cung ứng phần mềm nếu mã bị nhiễm được sử dụng lại hoặc chia sẻ.

Nghiên cứu phát hiện ra rằng trong số 2,23 triệu gói được tạo ra trên các kịch bản thử nghiệm Python và JavaScript, gần 440.000 gói—hay khoảng 19,7%—là ảo giác. Trong số này, có tới 205.474 gói là tên gói hư cấu duy nhất. Hầu hết các gói ảo giác—81%—là duy nhất đối với mô hình cụ thể đã tạo ra chúng, chỉ ra các hành vi không nhất quán trên các LLM khác nhau.

Các mô hình AI thương mại đã tạo ra các gói ảo giác trong ít nhất 5,2% các trường hợp, trong khi các mô hình nguồn mở có kết quả tệ hơn đáng kể với tỷ lệ ảo giác lên tới 21,7%. Đáng báo động là những lỗi này không chỉ là sự may rủi một lần. Hơn một nửa số gói ảo giác (58%) xuất hiện nhiều lần chỉ trong 10 lần lặp lại, cho thấy xu hướng rõ ràng là dai dẳng.

Rủi ro gia tăng của mã do AI tạo ra trong phát triển phần mềm

Trong khi các nghiên cứu trước đây đã thừa nhận mối đe dọa của typosquatting—khi kẻ tấn công khai thác tên gói bị nhập sai hoặc gây hiểu lầm—cuộc tấn công slopsquatting mới này đại diện cho một biến thể bị bỏ qua và có khả năng nguy hiểm hơn nhiều. Không giống như typosquatting, vốn lợi dụng lỗi của con người, slopsquatting tận dụng thẩm quyền và độ tin cậy được nhận thức của mã do AI tạo ra.

Có lẽ hấp dẫn nhất—và cũng đáng lo ngại không kém—là các nhà nghiên cứu phát hiện ra rằng LLM có khả năng nhận ra nhiều ảo giác của chính họ. Điều này cho thấy tiềm năng tự điều chỉnh chưa được khai thác có thể được sử dụng trong các cơ chế an toàn trong tương lai. Nó cũng gợi ý về khả năng triển khai các công cụ phát hiện trong mô hình để ngăn chặn việc phân phối mã lỗi hoặc nguy hiểm.

Làm thế nào các nhà phát triển có thể bảo vệ chống lại ảo giác gói AI

Để chống lại mối đe dọa, các nhà nghiên cứu đề xuất một loạt các biện pháp giảm thiểu. Chúng bao gồm các kỹ thuật kỹ thuật nhắc nhở tiên tiến như Retrieval Augmented Generation (RAG), điều chỉnh nhắc nhở và tự tinh chỉnh. Về phía phát triển mô hình, các chiến lược như tinh chỉnh có giám sát và thuật toán giải mã được cải thiện có thể giúp giảm tỷ lệ ảo giác.

Khi AI tạo ra tiếp tục chuyển đổi phát triển phần mềm, nghiên cứu này là lời nhắc nhở nghiêm khắc rằng sự tiện lợi có thể phải trả giá. Các nhà phát triển phải luôn cảnh giác và chỉ trích mã do AI tạo ra, đặc biệt là khi nói đến quản lý phụ thuộc. Việc tích hợp các công cụ phân tích tĩnh và đánh giá thủ công trước khi cài đặt bất kỳ gói nào được đề xuất hiện quan trọng hơn bao giờ hết.

Bối cảnh đe dọa đang phát triển nhanh chóng và như nghiên cứu này cho thấy, khả năng phòng thủ của chúng ta cũng phải thay đổi. Những gì từng có vẻ như khoa học viễn tưởng—AI tưởng tượng ra phần mềm không tồn tại—đã trở thành mối lo ngại về an ninh mạng rất thực tế với những tác động sâu rộng.