AI가 개발한 2FA 취약점

사이버 보안 연구원들이 인공지능의 도움을 받아 개발된 것으로 추정되는 제로데이 취약점을 악용하는 미확인 공격자를 발견했습니다. 이는 인공지능이 실제 악의적인 공격, 즉 취약점 발견 및 익스플로잇 생성에 적극적으로 사용된 최초의 사례로 기록되었습니다.

수사관들은 이번 공격이 대규모 취약점 악용 계획을 위해 협력한 것으로 보이는 조직적인 사이버 범죄 집단의 소행이라고 보고 있습니다. 관련 공격 과정을 분석한 결과, 널리 사용되는 오픈 소스 웹 기반 시스템 관리 플랫폼에서 2단계 인증(2FA) 보호 기능을 우회할 수 있는 제로데이 취약점이 파이썬 스크립트에 포함되어 있는 것이 확인되었습니다.

구글의 제미니 AI 도구가 이번 작전에 직접적으로 연루되었다는 증거는 없지만, 연구진은 AI 모델이 취약점을 발견하고 악용하는 데 중요한 역할을 했다는 결론을 내렸습니다. 해당 파이썬 코드는 고도로 구조화된 형식, 광범위한 교육용 문서 문자열, 상세한 도움말 메뉴, 깔끔한 ANSI 색상 구현 등 대규모 언어 모델(LLM)이 생성한 결과물에서 흔히 나타나는 여러 특징을 보였습니다. 또한, 스크립트에는 AI의 오인식의 일반적인 예인 조작된 CVSS 점수가 포함되어 있었습니다.

2FA 우회 공격은 어떻게 작동했는가?

발견된 취약점은 정상적으로 작동하기 위해 유효한 사용자 자격 증명이 필요했습니다. 연구원들은 이 결함이 애플리케이션 인증 프로세스 내에 하드코딩된 신뢰 가정으로 인해 발생하는 의미론적 논리적 약점에서 비롯된 것임을 밝혀냈습니다. 이러한 고수준 논리적 결함은 최신 LLM 시스템의 분석 능력 범위 내에 점점 더 많이 포함되고 있습니다.

보안 전문가들은 인공지능(AI)이 취약점 발견부터 익스플로잇 검증, 실제 공격 실행에 이르기까지 사이버 공격 주기의 모든 단계를 극적으로 가속화하고 있다고 경고합니다. 위협 행위자들이 AI를 점점 더 많이 활용함에 따라 취약점을 파악하고 공격을 실행하는 데 필요한 시간과 노력이 줄어들고 있으며, 이로 인해 방어자들은 점점 더 큰 압박을 받고 있습니다.

AI가 악성코드 및 익스플로잇 공격의 범위를 확장하고 있습니다.

인공지능은 더 이상 취약점 연구를 지원하는 데에만 국한되지 않습니다. 이제 위협 행위자들은 AI를 이용하여 변종 악성코드를 구축하고, 악성 행위를 자동화하며, 공격 기능을 숨기고 있습니다. 대표적인 예로 PromptSpy가 있는데, 이 안드로이드 악성코드는 Gemini 취약점을 악용하여 화면 활동을 분석하고, 악성코드가 최근 실행 앱 목록에 고정되도록 하는 명령을 내립니다.

연구원들은 또한 제미니를 이용한 악의적인 활동과 관련된 여러 건의 주목할 만한 사례를 기록했습니다.

중국과 연계된 것으로 의심되는 사이버 스파이 그룹 UNC2814는 가상의 인물을 내세운 탈옥 유도 메시지를 이용해 제미니(Gemini)를 네트워크 보안 전문가로 위장하도록 강요한 것으로 알려졌습니다. 이는 TP-Link 펌웨어 및 Odette 파일 전송 프로토콜(OFTP) 구현을 포함한 임베디드 장치를 대상으로 하는 취약점 연구를 지원하기 위한 것이었습니다.

북한의 위협 행위자 APT45는 CVE를 분석하고 개념 증명 익스플로잇을 검증하기 위해 수천 건의 재귀적 프롬프트를 발행한 것으로 알려졌습니다.

중국 해킹 그룹 APT27이 Gemini를 사용하여 운영 중계 박스(ORB) 인프라 관리를 위한 것으로 추정되는 차량 관리 애플리케이션 개발을 가속화한 것으로 알려졌다.

러시아와 연계된 우크라이나 기관 대상 침입 공격에는 CANFAIL과 LONGSTREAM이라는 AI 기반 악성코드 계열이 사용되었으며, 두 악성코드 모두 LLM이 생성한 미끼 코드를 포함하여 악의적인 행위를 위장했습니다.

무기화된 훈련 데이터 및 자율 AI 작전

공격자들은 또한 Claude 코드 스킬 플러그인으로 설계된 'wooyun-legacy'라는 특수 GitHub 저장소를 시험적으로 사용하는 모습이 관찰되었습니다. 이 저장소에는 중국 취약점 공개 플랫폼인 WooYun이 2010년부터 2016년까지 수집한 5,000건 이상의 실제 취약점 사례가 포함되어 있습니다.

공격자는 이러한 데이터 세트를 AI 시스템에 입력함으로써, 숙련된 보안 연구원 수준의 정확도로 소스 코드 분석에 접근하는 모델을 훈련시키는 상황 기반 학습을 가능하게 할 수 있습니다. 이는 표준 모델이 간과할 수 있는 미묘한 논리적 오류를 식별하는 AI의 능력을 크게 향상시킵니다.

연구진은 또한 중국과 연계된 것으로 추정되는 위협 행위자가 일본의 한 기술 기업과 동아시아의 주요 사이버 보안 플랫폼을 공격하는 과정에서 Hexstrike AI 및 Strix와 같은 인공지능 기반 도구를 사용했다고 밝혔습니다. 이러한 도구들은 사람의 개입을 최소화하면서 자동화된 정찰 및 탐지 작업을 가능하게 했다고 합니다.

공격형 AI의 증가하는 보안 문제

이번 조사 결과는 사이버 위협 환경의 중대한 변화를 보여줍니다. 인공지능(AI)은 생산성 도구를 넘어 공격적인 사이버 작전의 시너지 효과를 내는 핵심 요소로 빠르게 진화하고 있습니다. 제로데이 취약점 발견부터 악성코드 배포 자동화, 작전 은밀성 강화에 이르기까지, 인공지능은 사이버 공격의 계획 및 실행 방식을 근본적으로 바꾸고 있습니다.

인공지능 기반 사이버 공격 능력이 지속적으로 발전함에 따라, 조직들은 공격이 더욱 빠르고, 적응력이 뛰어나며, 피해 발생 전에 탐지하기가 점점 더 어려워지는 미래에 직면하게 될 것입니다.