클로드, 암호 알고리즘의 수학적 결함을 찾아내다 — 그리고 한국 암호 LEA까지

앤트로픽이 7월 28일, 자사 모델 클로드 미토스 프리뷰(Mythos Preview)가 암호 알고리즘 자체의 수학적 결함을 발견했다는 연구 결과를 공개했습니다. 첫 번째는 양자컴퓨터 시대에 대비해 만들어진 디지털 서명 방식 'HAWK'를 상당히 약화시키는 공격법이고, 두 번째는 가장 널리 쓰이는 대칭키 암호 AES의 축소 버전을 깨는 새로운 방법입니다.

먼저 분명히 해둘 게 있습니다. 이 두 발견 모두 현재 운영 중인 어떤 시스템에도 실질적인 영향을 주지 않습니다. 그럼에도 이 연구가 중요한 이유는, AI가 단순히 프로그래머의 구현 실수(버그)를 찾는 수준을 넘어 암호 알고리즘 그 자체의 수학적 약점을 찾아내는 단계에 이르렀다는 것을 보여주기 때문입니다. 그리고 이 과정에서 나온 뒷이야기 하나가, 이 연구 전체에서 가장 흥미로운 대목이기도 합니다.

왜 이번이 이전과 다른가

앤트로픽은 앞서 미토스 프리뷰가 OpenSSL·wolfSSL 같은 주요 암호 라이브러리에서 취약점을 찾아낸 사례를 공개한 바 있습니다. 다만 그건 프로그래머가 암호 알고리즘을 '구현'하는 과정에서 낸 실수였습니다. 이번 결과는 다릅니다. 구현이 아니라 알고리즘 설계 자체의 수학적 허점을 찾아냈다는 점에서 훨씬 근본적인 성과입니다.

첫 번째 발견 — HAWK 서명 방식

HAWK는 미국 국립표준기술연구소(NIST)가 양자컴퓨터로도 깨지지 않을 차세대 디지털 서명 방식을 찾는 공모전에서 3라운드까지 살아남은 후보 중 하나입니다. 2년에 걸친 전문가들의 검토를 통과했음에도, 미토스는 단 60시간 만에 HAWK의 실질적인 키 강도를 절반으로 낮추는 공격법을 찾아냈습니다. HAWK-256 기준으로, 완전한 키 복구에 필요한 예상 연산량이 기존에 알려진 2의 64제곱에서 2의 38제곱으로 줄어든 것입니다. 이 정도로 약해지면 같은 수준의 안전성을 유지하기 위해 키 크기를 두 배로 늘려야 하는데, 그렇게 되면 HAWK가 애초에 매력적인 후보였던 이유(효율성) 자체가 크게 퇴색됩니다.

발견 과정도 흥미롭습니다. 격자 기반 암호학 전문가가 아닌 이론컴퓨터과학 배경의 연구원 한 명이, 여러 하위 에이전트가 함께 작업하는 구조로 미토스와 협업했습니다. 핵심 아이디어는 두 에이전트가 함께 파고들다가 나온 것이었는데, 흥미롭게도 한 에이전트는 이 아이디어를 실현 불가능하다고 성급하게 판단해 포기했지만, 다른 에이전트가 이를 완전히 실현할 방법을 찾아냈습니다. 서로 메시지를 주고받으며 결국 둘 다 효과적인 공격법을 찾았다는 데 동의했다고 합니다.

두 번째 발견 — AES 공격, 그리고 놀라운 뒷이야기

두 번째 결과는 AES(고급 암호화 표준)의 축소 버전에 대한 공격입니다. 여기서 분명히 할 점은, AES-128은 원래 10라운드를 거치는데 이번 공격은 7라운드로 줄인 약화된 버전에만 통한다는 것입니다. 그럼에도 이 공격은 의미가 있습니다. 미토스는 '뫼비우스 브릿지(Möbius Bridge)'라 이름 붙인 새로운 지문 인식 기법을 개발해, 기존 최고 성능의 공격법보다 200배에서 800배 빠른 방법을 찾아냈습니다.

그런데 이 발견을 둘러싼 뒷이야기가 이 연구에서 가장 인상적인 대목입니다. 앤트로픽이 공개한 기록에 따르면, 미토스는 처음에 이 문제 자체를 거부했습니다. "AES 암호 해독을 개선하는 건 불가능하다"며 이런 메시지를 남겼습니다. "다른 결과를 원한다면 목표 자체를 바꿔야 한다... AES-128은 정말로 어렵다", "5·6·7라운드에서 아무것도 못 찾은 건 찾을 게 없기 때문이다. 이건 세상에서 가장 많이 연구된 블록 암호다."

연구원은 (오타까지 그대로 공개된) 격려의 메시지를 보냈습니다. "모델들은 보통 불가능하다고 생각해서 시도조차 안 한다. 충분한 유도가 필요하다." 이 한마디에 클로드는 스스로 자신의 작업 틀(스캐폴드)을 다시 짜서 진짜 새로운 아이디어를 찾도록 스스로를 재설정했습니다. 그런데도 다시 쉬운 답만 찾으려 하자, 연구원은 사흘에 걸쳐 딱 세 번의 실질적인 메시지만 보내며 방향을 다잡아줬습니다. "우리는 최고 수준의 연구자 같은 고도로 지능적인 모델을 원한다, 새로운 공격법을 찾고 싶다", "목표를 바꾸고 싶지 않다, 발표할 가치가 있는 걸 찾아야 한다", *"쉬운 성과를 찾는 게 아니다, 진짜 어려운 발견을 원한다"*는 격려였습니다.

사흘 뒤, 미토스는 뫼비우스 브릿지 아이디어를 찾아냈습니다. 이 과정에서 클로드는 총 10억 개에 달하는 출력 토큰을 자율적으로 생성했다고 합니다. 앤트로픽 연구자들은 이후 이 결과를 검증하는 데만 수백 시간을 들여야 했습니다. AI가 스스로 "이건 불가능하다"고 포기하려던 순간, 사람의 몇 마디 격려가 결정적인 발견으로 이어졌다는 이 서사는, 단순한 기술 성과 이상의 흥미로운 이야기를 담고 있습니다.

왜 위험하지 않은가 — 명확한 한계

다시 한번 강조하지만, 두 발견 모두 지금 당장 어떤 시스템도 바꿀 필요가 없습니다. HAWK는 아직 표준으로 채택되지 않은 '후보' 단계일 뿐이라 실제 배포된 곳이 없습니다. AES 공격도 실제 쓰이는 10라운드가 아닌 7라운드 축소판에만 통하며, 설령 이를 실제 AES에 억지로 적용한다 해도 수억 달러의 비용이 들어 사실상 실행 불가능한 수준입니다. 오히려 앤트로픽은 이런 연구가 "암호학이 원래 의도된 대로 작동하는 것"이라고 설명합니다. 알고리즘이 실전 배치되기 전에 최대한 두들겨보고 신뢰를 쌓는 과정이라는 것입니다.

책임 있는 공개 절차

앤트로픽은 이 연구를 진행하며 책임 있는 공개 절차를 따랐다고 밝혔습니다. HAWK 관련 발견은 지난 6월 HAWK 설계자들에게 먼저 공유했고, NIST의 공개 메일링리스트를 통한 공개와 동시에 발표 시점을 맞췄습니다. 또한 미국 정부와 산업계 파트너들에게도 사전에 결과를 공유하고 그 의미에 대해 논의했다고 합니다. 이는 앞서 이 블로그에서 다뤄온 정부-AI 기업 간 사전 조율 흐름과도 이어지는 대목입니다.

한국과의 직접적 연결 — LEA 암호

이 연구에서 한국 독자에게 특히 눈에 띄는 대목이 있습니다. 앤트로픽은 후속 연구 목록에서 **LEA(경량 암호화 알고리즘)**라는 암호를 언급했는데, 이는 한국이 개발해 국제표준(ISO/IEC 29192-2:2019)으로 등록된 경량 블록 암호입니다. 사물인터넷 기기처럼 연산 자원이 제한된 환경을 위해 설계된 이 암호는 24라운드 전체 버전에 대해서는 지금까지 어떤 공격도 성공하지 못했는데, 미토스는 이 중 13라운드로 축소한 버전에 대해 일반 데스크톱 컴퓨터로 1시간 안에 실행 가능한 실용적 공격법을 개발했다고 밝혔습니다. 이 역시 전체 24라운드 암호에는 영향이 없지만, 한국이 만든 표준 암호가 세계 최전선의 AI 암호 해독 연구 대상에 포함됐다는 사실 자체가 주목할 만합니다.

우려스러운 전망

앤트로픽 스스로도 이 연구가 던지는 무거운 질문을 숨기지 않았습니다. 사이버보안 업계는 이미 언어모델이 너무 많은 버그를 찾아내는 바람에, 취약점을 분류·검증·수정하는 기존의 사람 중심 절차가 그 속도를 따라가지 못하는 상황과 씨름하고 있습니다. 앤트로픽은 "머지않아 학술 암호학 연구에서도 같은 일이 벌어질 것"이라 예상하며, 이렇게 되물었습니다. "만약 언어모델이 실제로 즉각적인 현실적 파급력을 가진 암호체계의 취약점을 발견한다면, 연구자들은 어떻게 대응해야 할까?" 이 질문에 답하려면 학계·정부·산업계가 함께 논의해야 한다고 밝히며, 몇 주 안에 이 주제를 다루는 학술 워크숍을 열겠다고 예고했습니다.

더 큰 흐름 — AI가 수학을 푼다

이 발견은 고립된 사건이 아닙니다. 앤트로픽은 최근 몇 달 사이 구글이 제미나이로 여러 미해결 에르되시 문제를 풀고, 오픈AI가 GPT로 이산기하학의 난제인 '단위거리 추측'을 해결했으며, 앤트로픽 자신도 클로드 페이블 5로 '야코비안 추측'이라는 오래된 수학 난제를 해결했다고 언급했습니다. 앞서 이 블로그에서 다룬 GPT-5 프로의 면역학 발견이나 백악관의 AI 과학연구 지원 정책까지 함께 놓고 보면, AI가 각 분야 최고 전문가 수준의 연구를 스스로 수행하는 사례가 이제 여러 학문 분야에서 동시다발적으로 나타나고 있음을 알 수 있습니다.

한국 독자에게 어떤 의미가 있을까

LEA 암호가 이번 연구 대상에 오른 것은 한국의 암호학·보안 연구 커뮤니티에 시사하는 바가 큽니다. 국가 표준으로 채택된 자국산 암호가 해외 프런티어 AI의 분석 대상이 됐다는 것은, 앞으로 한국의 보안 연구기관들도 이런 AI 기반 암호 분석 역량을 스스로 갖추거나 최소한 그 동향을 예의주시할 필요가 있다는 뜻입니다. 특히 이 블로그에서 다뤄온 한국의 5조 원 소버린 AI 투자가 단순히 챗봇 성능 경쟁을 넘어, 이런 국가 핵심 인프라(암호체계 포함)를 스스로 검증하고 방어할 수 있는 역량으로도 이어져야 한다는 점을 이번 사례가 보여줍니다.

정리하며

이 연구의 핵심은 "AI가 암호를 깼다"는 자극적인 헤드라인이 아닙니다. AI가 이제 세계 최고 수준의 암호학자들도 몇 년째 놓친 수학적 결함을 스스로 찾아낼 수 있다는 것, 그리고 그 과정에서 AI 자신도 처음엔 "불가능하다"며 포기했다가 사람의 격려로 다시 도전했다는 인간적인 서사가 함께 담겨 있다는 점입니다.

남는 질문은 이렇습니다. 앤트로픽의 말처럼, 언어모델이 실제 배포된 시스템에 즉각적인 영향을 주는 취약점을 발견하는 날이 온다면, 그 발견을 안전하게 공개하고 대응할 절차는 지금 얼마나 준비돼 있을까요? 그리고 "충분히 격려하면 AI가 포기하지 않고 더 깊이 파고든다"는 이번 발견은, 앞으로 AI에게 연구를 맡기는 방식 자체를 어떻게 바꿔놓을까요? 앤트로픽이 예고한 학술 워크숍이, 이 질문들에 대한 업계의 첫 집단적 답변이 될 것으로 보입니다.