AI Hallucinations បង្កការគំរាមកំហែងថ្មីដល់ខ្សែសង្វាក់ផ្គត់ផ្គង់កម្មវិធី

នៅក្នុងការអភិវឌ្ឍន៍ថ្មីដ៏ត្រជាក់សម្រាប់អ្នកអភិវឌ្ឍន៍ និងអង្គការដែលពឹងផ្អែកលើបញ្ញាសិប្បនិម្មិតសម្រាប់ការសរសេរកូដ អ្នកស្រាវជ្រាវបានរកឃើញការគំរាមកំហែងខ្សែសង្វាក់ផ្គត់ផ្គង់ថ្មីដែលបង្កើតឡើងដោយការយល់ច្រលំ AI នៅក្នុងគំរូបង្កើតកូដ។ វ៉ិចទ័រវាយប្រហារដែលកំពុងលេចចេញនេះ ដែលត្រូវបានគេដាក់ឈ្មោះថា slopsquatting អាចអនុញ្ញាតឱ្យតួអង្គព្យាបាទជ្រៀតចូលប្រព័ន្ធអេកូឡូស៊ីសូហ្វវែរ ដោយទាញយកអត្ថប្រយោជន៍ពីកញ្ចប់ប្រឌិតដែលធ្វើអោយមានការយល់ច្រលំដោយ Large Language Models (LLMs)។

គ្រោះថ្នាក់ស្ថិតនៅក្នុងការពិតដែលថា LLMs ជារឿយៗ "យល់ច្រឡំ" កញ្ចប់ - ណែនាំឬបញ្ចូលឯកសារយោងទៅភាពអាស្រ័យនៃកម្មវិធីដែលមិនមាន។ នៅក្នុងការស្រាវជ្រាវដែលធ្វើឡើងរួមគ្នាដោយសាកលវិទ្យាល័យ Texas នៅ San Antonio សាកលវិទ្យាល័យអូក្លាហូម៉ា និងរដ្ឋ Virginia Tech វាត្រូវបានគេរកឃើញថាគ្មាននរណាម្នាក់ក្នុងចំណោម 16 LLMs ពេញនិយមដែលត្រូវបានធ្វើតេស្តមិនមានភាពស៊ាំនឹងបាតុភូតនេះទេ។

តើអ្វីជា Slopsquatting ហើយតើវាដំណើរការយ៉ាងដូចម្តេច?

Slopsquatting យកគុណវិបត្តិនៃការយល់ឃើញនេះ ហើយប្រែវាទៅជាអាវុធ។ នៅពេលដែល LLM ណែនាំកញ្ចប់ដែលមិនមានកំឡុងពេលបង្កើតកូដ ឧក្រិដ្ឋជនតាមអ៊ីនធឺណិតអាចចុះឈ្មោះកញ្ចប់ព្យាបាទក្រោមឈ្មោះនោះ។ នៅពេលបោះពុម្ពផ្សាយ អ្នកអភិវឌ្ឍន៍ណាដែលទទួលយកកូដដែលបង្កើតដោយ AI តាមតម្លៃមុខ អាចនឹងនាំចូល និងដំណើរការកញ្ចប់ព្យាបាទដោយមិនដឹងខ្លួន។ វាមិនត្រឹមតែប៉ះពាល់ដល់គម្រោងបុគ្គលប៉ុណ្ណោះទេ ប៉ុន្តែក៏អាចផ្សព្វផ្សាយពាសពេញបណ្តាញផ្គត់ផ្គង់កម្មវិធីទាំងមូលផងដែរ ប្រសិនបើលេខកូដមេរោគត្រូវបានប្រើប្រាស់ឡើងវិញ ឬចែករំលែក។

ការសិក្សាបានរកឃើញថាក្នុងចំណោមកញ្ចប់ចំនួន 2.23 លានដែលបានបង្កើតនៅទូទាំងសេណារីយ៉ូសាកល្បង Python និង JavaScript ជិត 440,000 ឬប្រហែល 19.7% ត្រូវបានគេយល់ច្រលំ។ ក្នុងចំណោមនោះ 205,474 គួរឱ្យភ្ញាក់ផ្អើលគឺជាឈ្មោះកញ្ចប់ប្រឌិតតែមួយគត់។ កញ្ចប់ដែលគួរឱ្យខ្លាចបំផុត -81% - គឺមានតែមួយគត់ចំពោះគំរូជាក់លាក់ដែលបង្កើតពួកវាដោយចង្អុលទៅអាកប្បកិរិយាមិនស៊ីសង្វាក់គ្នានៅទូទាំង LLMs ផ្សេងៗគ្នា។

ម៉ូដែល AI ពាណិជ្ជកម្មបានធ្វើឱ្យមានការយល់ច្រលំនៅក្នុងកញ្ចប់យ៉ាងតិច 5.2% នៃករណី ខណៈដែលម៉ូដែលប្រភពបើកចំហមានការថយចុះយ៉ាងខ្លាំងជាមួយនឹងអត្រានៃការយល់ឃើញដល់ទៅ 21.7% ។ ជាអកុសល កំហុសទាំងនេះមិនមែនគ្រាន់តែជាការផ្ទុះឡើងតែមួយមុខនោះទេ។ ជាងពាក់កណ្តាលនៃកញ្ចប់ដែលបំភ័ន្តភ្នែក (58%) បានបង្ហាញខ្លួនម្តងហើយម្តងទៀតក្នុងរយៈពេលត្រឹមតែ 10 ដងប៉ុណ្ណោះ ដែលបង្ហាញពីទំនោរច្បាស់លាស់សម្រាប់ការតស៊ូ។

ហានិភ័យកើនឡើងនៃកូដដែលបង្កើតដោយ AI ក្នុងការអភិវឌ្ឍន៍កម្មវិធី

ខណៈពេលដែលការសិក្សាពីមុនបានទទួលស្គាល់ការគំរាមកំហែងនៃការវាយអក្សរ - ដែលជាកន្លែងដែលអ្នកវាយប្រហារកេងប្រវ័ញ្ចឈ្មោះកញ្ចប់ដែលវាយបញ្ចូលខុស ឬបំភាន់ - ការវាយប្រហារដោយរអិលថ្មីនេះតំណាងឱ្យវ៉ារ្យ៉ង់ដែលមើលរំលង និងមានសក្តានុពលខ្លាំងជាងនេះ។ មិនដូច typosquatting ដែលចាប់កំហុសរបស់មនុស្សទេ ការអង្គុយយឺតៗ មានឥទ្ធិពលលើការយល់ឃើញ និងភាពជឿជាក់នៃកូដដែលបង្កើតដោយ AI ។

ប្រហែលជាគួរឱ្យចាប់អារម្មណ៍បំផុត - និងពាក់ព័ន្ធស្មើៗគ្នា - អ្នកស្រាវជ្រាវបានរកឃើញថា LLMs មានសមត្ថភាពទទួលស្គាល់ការយល់ច្រលំផ្ទាល់ខ្លួនជាច្រើន។ នេះបង្ហាញពីសក្ដានុពលនៃការគ្រប់គ្រងខ្លួនឯងដែលមិនទាន់បានប្រើប្រាស់ ដែលអាចត្រូវបានប្រើនៅក្នុងយន្តការសុវត្ថិភាពនាពេលអនាគត។ វាក៏ណែនាំផងដែរអំពីលទ្ធភាពនៃការដាក់ពង្រាយឧបករណ៍រាវរកក្នុងគំរូដើម្បីការពារការចែកចាយកូដដែលមានកំហុស ឬគ្រោះថ្នាក់។

របៀបដែលអ្នកអភិវឌ្ឍន៍អាចការពារប្រឆាំងនឹង AI Package Hallucinations

ដើម្បីទប់ទល់នឹងការគំរាមកំហែង អ្នកស្រាវជ្រាវស្នើឱ្យមានការកាត់បន្ថយជាច្រើន។ ទាំងនេះរួមមានបច្ចេកទេសវិស្វកម្មរហ័សទាន់ចិត្តដូចជា Retrieval Augmented Generation (RAG) ការលៃតម្រូវភ្លាមៗ និងការកែលម្អខ្លួនឯង។ នៅលើផ្នែកអភិវឌ្ឍន៍គំរូ យុទ្ធសាស្រ្តដូចជាការលៃតម្រូវការផាកពិន័យដែលបានត្រួតពិនិត្យ និងការកែលម្អក្បួនដោះស្រាយការឌិកូដអាចជួយកាត់បន្ថយអត្រានៃការយល់ឃើញ។

នៅពេលដែល AI ជំនាន់ថ្មីបន្តផ្លាស់ប្តូរការអភិវឌ្ឍន៍ផ្នែកទន់ ការសិក្សានេះគឺជាការរំលឹកយ៉ាងមុតមាំថាភាពងាយស្រួលអាចមកដោយថ្លៃដើម។ អ្នកអភិវឌ្ឍន៍ត្រូវតែមានការប្រុងប្រយ័ត្ន និងរិះគន់ចំពោះកូដដែលបង្កើតដោយ AI ជាពិសេសនៅពេលនិយាយអំពីការគ្រប់គ្រងភាពអាស្រ័យ។ ការរួមបញ្ចូលឧបករណ៍វិភាគឋិតិវន្ត និងការពិនិត្យមើលដោយដៃមុនពេលដំឡើងកញ្ចប់ដែលបានណែនាំណាមួយឥឡូវនេះមានសារៈសំខាន់ជាងពេលណាទាំងអស់។

ទិដ្ឋភាព​គំរាមកំហែង​កំពុង​វិវឌ្ឍ​យ៉ាង​ឆាប់រហ័ស ហើយ​ដូច​ដែល​ការ​ស្រាវជ្រាវ​នេះ​បង្ហាញ​ដូច្នេះ​ក៏​ត្រូវ​ការពារ​យើង​ដែរ។ អ្វីដែលធ្លាប់ហាក់ដូចជាប្រឌិតបែបវិទ្យាសាស្ត្រ—កម្មវិធី AI imagining software ដែលមិនមាន - បានក្លាយជាការព្រួយបារម្ភអំពីសុវត្ថិភាពតាមអ៊ីនធឺណិតយ៉ាងពិតប្រាកដជាមួយនឹងផលប៉ះពាល់យ៉ាងទូលំទូលាយ។