「AI 해커」가 다가온다, 에이전트형 AI는 어떻게 새로운 수호자가 되는가?
저자:라펑의 젝
01 AI 부상: 기술의 양날 검 아래 숨은 보안 전쟁
AI 기술이 급속도로 발전함에 따라 사이버 보안이 직면한 위협은 점점 더 복잡해지고 있으며, 공격 수법은 더욱 효율적이고 은밀할 뿐 아니라 새로운 형태의 'AI 해커'를 낳아 각종 새로운 사이버 보안 위기를 유발하고 있다.
우선 생성형 AI가 네트워크 사기의 '정확성'을 재편하고 있다.
간단히 말해, 기존의 피싱 공격을 지능화하는 것으로, 보다 정교한 상황에서 공격자는 공개된 소셜 데이터를 이용해 AI 모델을 훈련시키고, 개별 사용자의 글쓰기 스타일이나 언어 습관을 모방하여 맞춤형 피싱 메일을 대량 생성함으로써 전통적인 스팸 필터를 우회하고 공격 성공률을 크게 높인다.
다음으로 가장 잘 알려진 딥페이크(Deepfake)와 신원 도용 문제가 있다. AI 기술이 성숙하기 이전에는 전통적인 '얼굴 바꾸기 사기 공격', 즉 BEC(Business Email Compromise) 사기가 있었는데, 이는 공격자가 자신의 메일 발신자를 피해자의 상사, 동료 또는 비즈니스 파트너로 위장하여 비즈니스 정보나 자금, 혹은 기타 중요한 자료를 빼내는 것을 의미한다.
현재는 '얼굴 바꾸기'가 실제로 가능해졌다. AI 기반 얼굴 합성 및 음성 변조 기술을 통해 유명 인사나 친지의 신분을 위조해 사기,輿론 조작, 심지어 정치적 간섭에까지 악용되고 있다. 두 달 전만 해도 상하이의 한 기업 재무 책임자가 '회장'으로부터 화상 회의 초대를 받았는데, 상대방이 AI로 얼굴을 합성하며 '해외 협력 보증금'을 긴급 송금해야 한다고 주장했다. 이 책임자는 지시에 따라 380만 위안을 특정 계좌로 송금했으나, 이후 해외 사기 조직이 딥페이크 기술을 이용한 범죄임을 알아챘다.
세 번째는 자동화된 공격과 취약점 악용이다. AI 기술의 발전은 많은 분야를 지능화·자동화로 이끌고 있으며, 네트워크 공격 역시 예외가 아니다. 공격자는 AI를 활용해 시스템의 취약점을 자동으로 스캔하고 동적 공격 코드를 생성하여 목표에 대해 무차별적으로 신속하게 공격할 수 있다. 예를 들어 AI 기반 '제로데이 공격'은 취약점을 발견하자마자 즉시 악성 프로그램을 작성하고 실행하여 전통적인 방어 시스템이 실시간으로 대응하기 어렵게 만든다.
올해 설날 당시 DeepSeek 공식 홈페이지는 3.2Tbps 규모의 초대규모 DDoS 공격을 당했으며, 해커는 API를 통해 동시에 적대적 샘플을 삽입해 모델 가중치를 조작함으로써 핵심 서비스가 48시간 동안 마비되는 사태를 일으켰고, 직접적인 경제 손실이 수천만 달러를 초과했다. 이후 추적 결과 미국 NSA의 장기간 잠복한 침투 흔적이 발견되었다.
데이터 오염과 모델 결함 역시 새로운 위협이다. 공격자는 AI 훈련 데이터에 허위 정보를 삽입(즉, 데이터 중독)하거나 모델 자체의 결함을 이용해 AI가 잘못된 결과를 출력하도록 유도한다. 이는 핵심 분야에 직접적인 보안 위협을 초래할 수 있으며, 연쇄적인 재해를 일으킬 가능성도 있다. 예를 들어 자율주행 시스템이 적대적 샘플로 인해 '통행 금지' 표지를 '속도 제한 표지'로 잘못 인식하거나, 의료용 AI가 양성 종양을 악성으로 오진하는 경우 등이다.
02 AI는 여전히 AI로 다스려야 한다
AI가 유도하는 새로운 사이버 보안 위협에 직면해 전통적인 보호 방식은 이미 한계를 드러내고 있다. 그렇다면 우리는 어떤 대응 전략을 가지고 있을까?
쉽게 알 수 있듯이 현재 업계의 공감대는 'AI로 AI에 대항하는 것'에 모아지고 있다. 이는 단순한 기술적 수단의 업그레이드를 넘어 보안 패러다임의 전환을 의미한다.
현행 시도는 대략 세 가지 범주로 나뉘며, 각각 AI 모델 보안 강화 기술, 산업 차원의 방어 적용, 그리고 더 광범위한 정부 및 국제 협력 차원의 노력이다.
AI 모델 보안 강화 기술의 핵심은 모델 내재적 보안 강화에 있다.
대규모 언어 모델(LLM)의 '탈옥(jailbreak)' 취약점을 예로 들면, 일반적인 탈옥 프롬프트 전략에 의해 보안 방어 메커니즘이 무력화될 수 있다. 공격자는 체계적으로 모델 내장 보호층을 우회하여 AI가 폭력적이거나 차별적이며 불법적인 콘텐츠를 생성하도록 유도한다. LLM 탈옥을 방지하기 위해 각 모델 회사는 다양한 시도를 하고 있는데, Anthropic은 올해 2월 '헌법 분류기(constitution classifier)'를 발표했다.
여기서 '헌법'이란 어길 수 없는 자연어 규칙을 의미하며, 합성 데이터 위에서 훈련된 보호 조치로서 허용되거나 제한되는 콘텐츠를 규정하고 입력·출력 내용을 실시간으로 감시한다. 기준 테스트에서 Claude3.5 모델은 분류기 보호 하에 고급 탈옥 시도에 대한 성공 저지율이 14%에서 95%로 크게 향상되어 AI 탈옥 위험을 현저히 줄였다.
모델 기반의 보다 일반적인 방어 수단 외에도, 산업 차원의 방어 적용 역시 주목할 만하다. 수직적 영역의 시나리오 기반 보호가 핵심 돌파구로 부상하고 있다. 금융업계는 AI 리스크 관리 모델과 다중 모달 데이터 분석을 통해 반사기 벽을 구축하고, 오픈소스 생태계는 지능형 취약점 사냥 기술을 통해 제로데이 위협에 신속히 대응하며, 기업의 민감 정보 보호는 AI 기반 동적 관리 체계에 의존하고 있다.
예를 들어, 시스코(Cisco)가 싱가포르 국제 사이버 위크에서 공개한 솔루션은 직원이 ChatGPT에 민감한 데이터 조회 요청을 제출하는 것을 실시간으로 차단하고, 자동으로 규정 준수 감사 보고서를 생성하여 관리 사이클을 최적화한다.
거시적 차원에서는 정부와 국제 간 지역을 초월한 협력도 가속화되고 있다. 싱가포르 사이버 보안국은 <인공지능 시스템 보안 가이드라인>을 발표하여 생성형 AI의 남용을 제한하기 위해 로컬 배포와 데이터 암호화 메커니즘을 강제하고, 특히 피싱 공격에서 AI가 위조 신분을 식별하는 데 대한 보호 기준을 마련했다. 미국, 영국, 캐나다가 동시에 'AI 사이버 에이전트 계획'을 시작하여 신뢰 가능한 시스템 개발과 APT 공격의 실시간 평가에 집중하며, 공동 보안 인증 체계를 통해 집단 방어 능력을 강화하고 있다.
그렇다면 AI를 활용해 AI 시대의 사이버 보안 과제를 최대한 효과적으로 해결할 수 있는 방법은 무엇일까?
"미래에는 AI 보안 지능 허브를 필요로 하며, 이를 중심으로 새로운 체계를 구축해야 한다." 제2회 우한 사이버 보안 혁신 포럼에서 청텅윈안전 창립자 장푸(Zhang Fu)는 AI로 AI에 대항하는 것이 미래 사이버 보안 방어 체계의 핵심이라고 강조하며 "3년 이내에 AI는 기존 보안 산업뿐 아니라 모든 B2B 산업을 뒤흔들 것이다. 제품은 다시 구성되어 전례 없는 효율성과 능력 향상을 실현할 것이다. 미래의 제품은 인간이 아닌 AI를 위한 것이다."라고 말했다.
다양한 솔루션 가운데 Security Copilot 모델은 '미래 제품은 AI를 위한 것'이라는 개념을 명확히 보여주는 좋은 사례다. 1년 전 마이크로소프트는 보안 팀이 보안 사건을 신속하고 정확하게 탐지·조사·대응하도록 돕는 지능형 Microsoft Security Copilot 조수를 출시했고, 한 달 전에는 피싱 공격, 데이터 보안, 신원 관리 등의 핵심 분야에서 자동 지원하는 AI 지능 에이전트를 추가로 발표했다.
마이크로소프트는 Security Copilot 기능 확장을 위해 자체 개발한 AI 에이전트 6종을 추가했다. 그 중 3종은 사이버 보안 인력이 경보를 선별하는 것을 보조한다. 피싱 분류 에이전트는 피싱 경보를 검토하고 오탐을 필터링한다. 다른 두 개는 Purview 알림을 분석하여 직원이 승인 없이 사업 데이터를 사용하는 상황을 탐지한다.
조건부 접근 최적화 에이전트는 Microsoft Entra와 협업하여 안전하지 않은 사용자 접근 규칙을 지적하고 관리자가 실행할 수 있는 원클릭 수정 방안을 생성한다. 취약점 수정 에이전트는 디바이스 관리 도구 Intune과 통합되어 취약한 엔드포인트를 신속하게 찾아내고 운영체제 패치를 적용한다. 위협 인텔리전스 요약 에이전트는 조직 시스템을 위협할 수 있는 사이버 보안 위협 보고서를 생성한다.
03 무상(無相): L4 수준 고도 지능 에이전트의 보호
또한 국내에서도 진정한 의미에서 '자율주행' 수준의 보안 방어를 실현하기 위해 청텅윈안전은 전 스택형 보안 지능 에이전트 '무상(無相)'을 출시했다. 세계 최초로 '보조형 AI'에서 '자율 에이전트(Autopilot)'로 전환을 성공한 보안 AI 제품으로서, 그 핵심 돌파구는 전통적인 도구의 '수동 대응' 모델을 전복하여 스스로 작동하고 자동적이며 지능적인 특성을 갖추게 했다.
머신러닝, 지식 그래프, 자동화 의사결정 기술을 융합함으로써 '무상'은 위협 탐지, 영향 평가, 대응 처리에 이르는 전 과정을 독립적으로 완료하고, 진정한 의미에서 자율적인 의사결정과 목표 지향을 실현한다. '에이전트형 AI 아키텍처'(Agentic AI Architecture)는 인간 보안 팀의 협업 논리를 모방한다. '두뇌'는 사이버 보안 지식 베이스를 통합해 계획 능력을 지원하고, '눈'은 네트워크 환경의 동향을 세밀하게 감지하며, '손과 발'은 다양한 보안 도구 체인을 유연하게 호출하고, 다중 에이전트 협업을 통해 정보를 공유하는 효율적인 판단 네트워크를 형성하여 역할 분담과 정보 공유를 한다.
기술 구현 면에서 '무상'은 'ReAct 모드'(Act-Observe-Think-Act 순환)와 'Plan AI + Action AI 이중 엔진 아키텍처'를 채택하여 복잡한 작업에서 동적 오류 수정 능력을 보장한다. 도구 호출에 이상이 발생하면 시스템은 프로세스를 중단하지 않고 대체 방안으로 자동 전환한다. 예를 들어 APT 공격 분석에서 Plan AI는 '조직자'로서 작업 목표를 분해하고, Action AI는 '조사 전문가'로서 로그 분석과 위협 모델링을 수행하며, 실시간 공유되는 지식 그래프를 기반으로 병렬 진행한다.
기능 모듈 측면에서 '무상'은 완전한 자율 의사결정 생태계를 구축했다. 지능 에이전트는 보안 분석가의 성찰적 반복 사고를 모방하여 의사결정 경로를 동적으로 최적화한다. 도구 호출은 호스트 보안 로그 조회, 네트워크 위협 인텔리전스 검색, LLM 기반 악성코드 분석 등을 통합한다. 환경 감지는 호스트 자산과 네트워크 정보를 실시간으로 수집한다. 지식 그래프는 실체 간 연결 관계를 동적으로 저장하여 의사결정을 지원한다. 다중 에이전트 협업은 작업 분할과 정보 공유를 통해 작업을 병렬로 수행한다.
현재 '무상'은 경보 평가, 근원 추적 분석, 보안 보고서 작성이라는 세 가지 핵심 응용 시나리오에서 특히 뛰어난 성과를 보이고 있다.
전통적인 보안 운영에서 방대한 경보의 진위 판별은 시간과 노동력을 많이 소비한다. 로컬 권한 상승 경보 하나를 예로 들면, 무상의 경보 평가 에이전트는 위협 특징을 자동으로 분석하고 프로세스 권한 분석, 부모 프로세스 추적, 프로그램 서명 검증 등의 도구 체인을 호출하여 결국 오탐으로 판정한다. 전체 과정에 인간의 개입이 필요 없다. 청텅의 기존 경보 테스트에서 이 시스템은 100% 경보 커버리지와 99.99% 평가 정확도를 달성했으며, 인건비를 95% 이상 절감했다.
Webshell 공격 같은 실제 위협에 직면할 경우, 지능 에이전트는 코드 특징 추출, 파일 권한 분석 등 다차원 연관 분석을 통해 공격 유효성을 몇 초 안에 확인한다. 기존에 여러 부서가 협력해 수일이 걸렸던 깊이 있는 근원 추적(업로드 경로 복원, 횡적 영향 평가 등)은 이제 시스템이 자동으로 호스트 로그, 네트워크 트래픽, 행동 기준선 등의 데이터 흐름을 연결해 완전한 공격 체인 보고서를 생성하며, 대응 주기를 '일(day)' 단위에서 '분(minute)' 단위로 단축한다.
"핵심은 AI와 인간의 협력 관계를 전환한 것으로, AI를 인간처럼 협업하는 존재로 삼아 L2에서 L4 수준, 즉 보조 운전에서 고도 자율주행으로의 전환을 실현한 것입니다." 청텅 공동창립자이자 제품 부사장 후쥔(Hu Jun)은 "AI가 적용 가능한 시나리오가 더 많아지고, 의사결정 성공률이 높아지며 점차 더 많은 책임을 맡을 수 있게 되면, 인간과 AI 사이의 책임 분담도 변화하게 될 것입니다."라고 설명했다.
근원 추적 분석 시나리오에서 먼저 Webshell 경보가 '무상 AI' 기반 다중 지능 에이전트 보안 팀의 협업 근원 추적을 유도한다. '판단 전문가'는 경보를 기반으로 one.jsp 파일을 위치 지정하고, 파일 내용 분석, 작성자 추적, 동일 디렉터리 점검, 프로세스 추적 등의 병렬 작업을 생성하며, '보안 수사관' 에이전트가 파일 로그 도구를 호출해 java(12606) 프로세스를 작성 원본으로 신속히 식별한다. 해당 프로세스 및 관련 호스트 10.108.108.23(접근 로그에서 높은 빈도의 상호작용 발견)도 차례로 조사 대상에 포함된다.
지능 에이전트는 위협 그래프를 통해 단서를 동적으로 확장하며, 단일 파일에서 점차 프로세스, 호스트로 깊이 파고들어 '판단 전문가'가 작업 결과를 종합해 위험을 종합적으로 평가한다. 이 과정은 인간이 수시간에서 수일이 소요되는 점검을 수십 분으로 단축하며, 고급 보안 전문가보다도 높은 정확도로 공격 전체 경로를 복원하고 횡적 이동 경로를 누락 없이 추적하며, 레드팀 평가에서도 이런 광범위한 조사를 피하기 어렵다고 나타났다.
"대규모 모델이 인공보다 뛰어난 이유는 구석구석까지 완전히 조사할 수 있기 때문이며, 경험에 기반해 가능성 낮은 상황을 제외하지 않습니다." 후쥔은 "이는 사실상 범위와 깊이 모두 더 뛰어나다는 의미입니다."라고 설명했다.
복잡한 공격 시나리오 조사를 완료한 후, 경보와 조사 단서를 정리하여 보고서를 작성하는 것은 종종 시간과 노력을 많이 소비한다. 그러나 AI는 일괄 요약이 가능하며, 시각화된 타임라인 형식으로 공격 과정을 영화처럼 매끄럽게 보여준다. 시스템은 핵심 증거를 자동으로 정리하여 공격 체인의 키프레임을 생성하고, 환경 컨텍스트 정보를 결합하여 궁극적으로 동적인 공격 경로 지도를 생성하여 전체 공격 궤적을 직관적이고 입체적으로 표현한다.
04 맺음말
명백히, AI 기술의 발전은 사이버 보안에 이중적인 도전을 가져왔다.
한편으로 공격자는 AI를 이용해 공격을 자동화, 개인화, 은폐화하고 있으며, 다른 한편으로 방어측은 기술 혁신을 가속화하여 AI를 통해 탐지 및 대응 능력을 강화해야 한다. 앞으로 공격과 방어 양측의 AI 기술 경쟁이 사이버 보안 전반의 국면을 결정할 것이며, 보안 지능 에이전트의 완성도가 위험과 발전의 균형을 맞추는 핵심이 될 것이다.
또한 보안 지능 에이전트 '무상'은 보안 아키텍처와 인식 차원 모두에서 새로운 변화를 가져왔다.
'무상'은 본질적으로 AI 사용 방식을 바꾼 것으로, 그 돌파구는 다차원 데이터 감지, 방어 전략 생성, 의사결정의 설명 가능성 등을 유기적으로 통합한 데 있다. 과거 AI를 도구로 사용하는 모델에서 벗어나 AI에게 권한을 부여하여 스스로 작동하고 자동으로 작업할 수 있도록 하는 것이다.
로그, 텍스트, 트래픽 등 이기종 데이터를 연관 분석함으로써 시스템은 공격자가 완전한 공격 체인을 구축하기 전에 APT 활동의 미세한 흔적을 포착할 수 있다. 더 중요하게는 의사결정 과정의 시각화된 추론 설명을 통해 전통적인 도구의 '결과는 알지만 이유는 모르는' 블랙박스 경보가 역사가 된다. 보안 팀은 위협을 보는 것뿐만 아니라 위협의 진화 논리를 이해할 수 있게 된 것이다.
이 혁신의 본질은 보안 사고방식이 '양을 잃고 울타리를 고친다'에서 '비가 오기 전에 지붕을 고친다'로의 패러다임 전이이며, 공격과 방어 게임 규칙의 재정의이다.
'무상'은 디지털 직관을 가진 사냥개와 같다. 메모리 작업 등 미세한 행동 특징을 실시간 모델링함으로써 방대한 노이즈 속에서 잠복한 맞춤형 트로이목마를 찾아낸다. 동적 공격 표면 관리 엔진은 자산 리스크 가중치를 지속적으로 평가하여 방어 자원이 핵심 시스템에 정확히 투입되도록 보장한다. 위협 인텔리전스의 지능형 소화 메커니즘은 하루 평균 수만 건의 경보를 실행 가능한 방어 지시로 전환할 뿐 아니라 공격 변종의 진화 방향까지 예측한다. 전통적인 솔루션이 여전히 발생한 침입에 허덕이고 있을 때, '무상'은 이미 공격자의 다음 수를 예측하고 차단하고 있다.
"AI 지능 허브 시스템(고도 보안 지능 에이전트)의 탄생은 사이버 보안의 구도를 완전히 재편할 것이다. 우리가 유일하게 해야 할 일은 이 기회를 단단히 붙잡는 것이다." 장푸가 말했다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
极客公园
