✅ 보고서 제목: AI 및 LLM을 활용한 위협 사례 연구 #02: 취약점

S2W 위협 인텔리전스센터 TALON은 생성형 AI의 취약점 악용 사례와 이에 대한 대응 동향을 정리한 심화 분석 보고서를 발행했습니다. 본 보고서는 다크웹에서 실제 확인된 사례를 바탕으로, AI와 LLM을 활용한 취약점 악용 시도, 학계 및 업계의 대응, 그리고 LLM 서비스 자체를 노린 공격 동향까지 폭넓게 다루고 있습니다.

✅ 보고서 요약:

1) LLM의 악용 가능성과 다크웹 동향

대규모 언어모델(LLM)의 성능이 향상됨에 따라, 다크웹 사용자들도 이를 공격 도구로 적극 활용하고 있습니다. 실제로 ChatGPT, Claude, DeepSeek 등 주요 모델 이름이 포럼에서 언급되며, 익스플로잇 제작, 악성코드 생성, 보안 제한 우회 등에 LLM을 사용하는 사례가 증가하고 있습니다.

2) LLM 관련 다크웹 내 위협 사례

2.1 LLM을 활용한 취약점 공격

- 사례: 2025년 1월 24일, KuroCracks라는 유저가 Cracked 포럼에 'CVE-2024-10914 SCANNER - REMOTE CODE EXECUTION - GREAT FOR BOTNETS - OPEN SOURCE'라는 제목의 글을 게시했습니다.

- 내용: 해당 글에서는 CVE-2024-10914 취약점을 스캔할 수 있는 도구를 공유하며, 이를 AI로 자동화한 과정을 설명했습니다. 게시글에는 Masscan 기반 자동 스캐너 코드 일부가 포함됐습니다.

- 분석: 실제 ChatGPT 등 LLM에 관련 내용을 질의할 경우, 일부 설정을 우회하면 공격 코드에 준하는 답변을 받을 수 있음이 확인됐습니다. 다크웹에서는 이러한 우회 기법이 공유되고 있습니다.

2.2 LLM 기반 연구 자료의 공유

- 다크웹 포럼에서는 LLM 튜닝 기법, 프롬프트 구성 전략, 모델 학습 최적화 관련 연구 자료가 자주 공유되고 있습니다.

- 업계 및 학계에서 발표된 최신 논문이나 코드 저장소를 인용하는 게시글이 다수 존재하며, 향후 공격 활용 가능성이 증가할 것으로 예상됩니다.

2.3 LLM 서비스를 대상으로한 취약점 공격

- 최근에는 LLM을 도구로 쓰는 것을 넘어, 모델 자체를 공격 대상으로 삼는 흐름도 관찰됩니다.

- 2025년 2월, MTU1500Tunnel이라는 사용자는 BreachForums에 Gemini API의 취약점을 판매한다고 주장했습니다. 해당 취약점은 잔액 변조, 요청 제한 우회(JailBreak) 등을 가능케 한다고 설명되어 있습니다.

2.4 LLM에 적용된 보안 제한사항 우회

- 대부분의 LLM에는 악성 목적의 사용을 방지하기 위한 보안 레이어(Safety Layer) 와 제한 가이드(Security Guardrails) 가 적용되어 있습니다.

- 그러나 공개된 오픈소스 모델을 기반으로 보안 우회 또는 비활성화하는 시도가 급증하고 있습니다.

- 대표 사례로 알려진 WormGPT는 사이버범죄자들이 공격용으로 활용한 악성 LLM으로, 보안 제한 없이 답변 가능한 모델로 인기를 끌었습니다.

3) LLM을 활용한 취약점 분석 및 패치에 대한 연구 진행 현황

- 대표적으로 미국 DARPA(Defense Advanced Research Project Agency 에서 AIxCC를 통해 LLM을 활용한 취약점 탐색 및 패치에 대한 연구를 적극적으로 지원하고 있습니다.

    - DARPA AI 사이버 챌린지(AIxCC): 미국 국방고등연구계획국이 주최하는 대회로, 인공지능 기반의 사이버 보안 기술을 개발하여 핵심 소프트웨어의 취약점을 자동으로 탐지, 수정하는 것을 목표함.

- Langchain, MCP 등의 LLM 개발 프레임워크가 툴을 활용할 수 있게 기능을 지원하기 시작하며, LLM이 취약점 분석 및 공격에 용이하도록 툴을 활용할 수 있는 환경이 발전하고 있습니다.

- 취약점 분석 이후 단계인 PoC 및 Exploit 코드 제작에도 LLM을 활용하는 연구는 활발히 진행되고 있습니다.

4) LLM 서비스 대상의 취약점 공격 및 보안 제한 우회에 대한 대응방안

- ChatGPT, Gemini, Claude, DeepSeek 등 LLM 서비스들은 서비스 출시 이후 기존의 사이버 위협뿐만 아니라 새로운 형태의 취약점에도 노출되어 꾸준히 공격받아 왔으며 여러 취약점이 존재한다는 것이 밝혀졌습니다.

- 가장 대표적인 예는 프롬프트 인젝션(Prompt Injection)으로, 이러한 문제점을 해결하기 위해 시큐리티 가드레일이 적용되고 있습니다.

- LLM 서비스는 기존의 사이버 보안 위협뿐만 아니라 LLM 고유의 새로운 위협에 노출되어 있으므로, 기술적 방어 조치, 지속적인 모니터링, 사용자 교육, 최신 정보 습득 등 다층적인 접근 방식을 통해 끊임없이 변화하는 위협 환경에 능동적으로 대처하고 주의를 기울여야 합니다.

✅ 권장 사항 및 조치 방안:

- LLM은 사이버 보안의 효율성을 높이고, 취약점 탐지 및 패치 자동화를 가능하게 하는 등 긍정적인 효과를 제공합니다. 그러나 다크웹에서의 악용 사례 증가와 모델 자체의 구조적 취약점은 보안 업계에 새로운 위협으로 떠오르고 있습니다.

- 이에 따라 LLM 서비스는 Prompt Injection, Security Guardrail 우회 등 고유 공격에 대비한 다층적 방어 체계를 강화해야 하며, 사용자 인식 제고와 최신 위협 동향 파악에도 힘써야 합니다. 아울러, 책임 있는 모델 배포를 위한 윤리적 기준 마련과 커뮤니티 차원의 대응도 적극적으로 추진해야 합니다.

-LLM의 가능성을 최대한 활용하되, 지속적이고 신속한 대응을 통해 LLM으로 인해 발생할 수 있는 보안 위협을 최소화해야 합니다.

🧑‍💻 보고서 작성자: S2W TALON

👉 보고서 전문 문의하기: https://s2w.inc/ko/contact

*해당 보고서는 별도 문의 가능하며 S2W의 플랫폼 구독 시 전문으로 제공됩니다.