AI 환각, 소프트웨어 공급망에 새로운 위협을 가한다

코딩에 인공지능을 활용하는 개발자와 조직들에게는 섬뜩한 새로운 현상이 발생했습니다. 연구원들은 코드 생성 모델에서 AI 환각이 발생하는 새로운 공급망 위협을 발견했습니다. 슬롭스쿼팅(slopsquatting )이라고 불리는 이 새로운 공격 벡터는 악의적인 공격자가 대규모 언어 모델(LLM)이 환각하는 허위 패키지를 이용하여 소프트웨어 생태계에 침투할 수 있도록 허용합니다.

위험은 LLM이 종종 패키지를 "환각"시킨다는 사실에 있습니다. 즉, 존재하지도 않는 소프트웨어 종속성에 대한 참조를 암시하거나 삽입하는 것입니다. 샌안토니오 텍사스 대학교, 오클라호마 대학교, 버지니아 공대가 공동으로 실시한 연구에 따르면, 테스트 대상이었던 16개의 인기 LLM 중 이러한 현상에서 자유로운 곳은 없었습니다.

슬롭스쿼팅이란 무엇이고 어떻게 진행되나요?

슬롭스쿼팅(Slopsquatting)은 이러한 환각 결함을 무기로 활용합니다. LLM이 코드 생성 과정에서 존재하지 않는 패키지를 제안하면, 사이버 범죄자는 해당 이름으로 악성 패키지를 빠르게 등록할 수 있습니다. 일단 공개되면, AI가 생성한 코드를 액면 그대로 받아들이는 개발자는 자신도 모르게 악성 패키지를 가져와 실행할 수 있습니다. 이는 개별 프로젝트를 손상시킬 뿐만 아니라, 감염된 코드가 재사용되거나 공유될 경우 전체 소프트웨어 공급망으로 확산될 수도 있습니다.

이 연구에 따르면 Python 및 JavaScript 테스트 시나리오에서 생성된 223만 개의 패키지 중 약 44만 개(약 19.7%)가 환각 패키지였습니다. 이 중 무려 205,474개가 고유한 가상 패키지 이름이었습니다. 환각 패키지의 대부분(81%)은 이를 생성한 특정 모델에서만 고유했으며, 이는 서로 다른 LLM 간에 일관되지 않은 동작을 나타냅니다.

상용 AI 모델은 최소 5.2%의 사례에서 환각 패키지를 생성했지만, 오픈소스 모델은 환각 비율이 21.7%에 달해 훨씬 더 낮은 수치를 기록했습니다. 놀랍게도 이러한 오류는 단순한 우연이 아니었습니다. 환각 패키지의 절반 이상(58%)이 단 10번의 반복 작업 만에 반복적으로 나타나, 지속적인 경향을 보였습니다.

소프트웨어 개발에서 AI 생성 코드의 위험 증가

이전 연구에서는 공격자가 잘못 입력하거나 오해의 소지가 있는 패키지 이름을 악용하는 타이포스쿼팅(typosquatting)의 위협을 인정했지만, 이번 새로운 슬롭스쿼팅 공격은 간과되고 잠재적으로 훨씬 더 위험한 변종입니다. 인간의 실수를 이용하는 타이포스쿼팅과 달리, 슬롭스쿼팅은 AI가 생성한 코드의 권위와 신뢰성을 악용합니다.

아마도 가장 흥미롭고 동시에 우려스러운 점은, 연구진이 LLM이 자신의 환각 중 상당수를 스스로 인식할 수 있다는 사실을 발견했다는 것입니다. 이는 미래의 안전 메커니즘에 활용될 수 있는 미개발 자기 조절 잠재력을 시사합니다. 또한, 결함이 있거나 위험한 코드의 배포를 방지하기 위해 모델 내 탐지 도구를 구축할 가능성을 시사합니다.

개발자가 AI 패키지 환각으로부터 보호할 수 있는 방법

이러한 위협에 대응하기 위해 연구진은 다양한 완화책을 제안합니다. 여기에는 검색 증강 생성(RAG), 프롬프트 튜닝, 자가 개선과 같은 첨단 프롬프트 엔지니어링 기법이 포함됩니다. 모델 개발 측면에서는 지도 학습 미세 조정 및 개선된 디코딩 알고리즘과 같은 전략이 환각 발생률을 줄이는 데 도움이 될 수 있습니다.

생성적 AI가 소프트웨어 개발을 지속적으로 혁신하는 가운데, 이 연구는 편의성에는 대가가 따른다는 점을 여실히 보여줍니다. 개발자는 AI가 생성한 코드, 특히 종속성 관리에 대해 항상 경계하고 비판적인 시각을 가져야 합니다. 권장 패키지를 설치하기 전에 정적 분석 도구와 수동 검토를 통합하는 것이 그 어느 때보다 중요합니다.

위협 환경은 빠르게 변화하고 있으며, 이 연구에서 보여주듯이 우리의 방어 체계 또한 빠르게 변화하고 있습니다. 한때는 공상과학 소설처럼 여겨졌던, 존재하지 않는 소프트웨어를 상상하는 AI의 모습은 이제 광범위한 영향을 미치는 매우 현실적인 사이버 보안 문제로 자리 잡았습니다.