오픈AI, AI로 AI를 해킹하는 'GPT-레드' 공개 — 사람보다 6배 강한 공격자를 만든 이유

오픈AI가 7월 15일, 다른 AI 모델의 보안 허점을 자동으로 찾아내도록 훈련시킨 시스템 **'GPT-레드(GPT-Red)'**를 공식 발표했습니다. 사람이 직접 해킹을 시도하는 '레드팀' 활동을 AI가 대신하도록 만든 것인데, 공개된 실험 하나가 특히 인상적입니다. 오픈AI 사무실에 실제로 설치된 AI 자판기를 상대로, GPT-레드가 가격을 마음대로 조작하고 다른 고객의 주문까지 취소하는 데 성공했다는 내용입니다.

이게 왜 오픈AI 스스로 자랑스럽게 공개한 사례일까요? 답은 간단합니다. 이 공격이 실전 배치 전에 발견돼 바로 막혔기 때문입니다. 사람보다 훨씬 빠르고 집요하게 약점을 찾아내는 AI를, 적이 아니라 우리 편으로 만들었다는 게 이번 발표의 핵심입니다.

문제 — 왜 사람만으로는 부족한가

AI 에이전트는 이제 브라우저, 이메일, 외부 앱, 코드 저장소처럼 다양한 곳에서 정보를 가져와 작업을 처리합니다. 문제는 이 과정에서 이메일 본문이나 웹페이지, 도구가 돌려주는 결과물 안에 악의적인 지시문이 몰래 숨겨질 수 있다는 점입니다. 이를 '프롬프트 인젝션(prompt injection)'이라 부르는데, AI가 사용자의 명령이 아니라 이렇게 숨겨진 지시를 따라 민감한 정보를 외부로 빼돌리거나 엉뚱한 행동을 하게 만드는 공격입니다.

그동안 오픈AI는 사람 red팀(모의 해킹 전문가)을 동원해 이런 약점을 미리 찾아왔습니다. 다만 사람이 하는 작업은 시간이 오래 걸리고 규모를 키우기 어렵습니다. 게다가 최신 모델들은 기존에 쓰던 검증 테스트를 이미 대부분 통과해버린 상태라, 모델의 능력이 빠르게 좋아지는 속도만큼 안전성 검증도 함께 빨라져야 한다는 게 오픈AI의 문제의식이었습니다.

어떻게 훈련시켰나 — 서로 싸우며 강해지는 두 AI

GPT-레드의 훈련 방식은 셀프플레이(self-play) 강화학습입니다. GPT-레드(공격자)와 여러 종류의 '방어자' AI 모델들을 동시에 훈련시키는데, 공격자는 프롬프트 인젝션에 성공할 때, 방어자는 그 공격을 막아내고 원래 맡은 작업을 완수할 때 각각 보상을 받습니다. 방어자가 강해질수록 공격자는 더 강력하고 다양한 공격법을 찾아내야 하는 구조인데, 두 AI가 서로를 상대로 실력을 겨루며 함께 발전하는 방식입니다. 오픈AI는 이 훈련에 자사의 대규모 사후훈련(post-training) 작업에 맞먹는 컴퓨팅 자원을 투입했다고 밝혔는데, 순전히 안전성 향상만을 위해 이 정도 규모의 연산을 쓴 것은 이례적이라고 설명합니다.

한 가지 눈에 띄는 안전장치는, GPT-레드 자체는 절대 외부에 공개하거나 배포하지 않는다는 점입니다. 공격 능력을 학습한 모델이 나쁜 의도를 가진 사람 손에 들어가지 않도록, 철저히 내부용으로만 쓰고 있습니다.

실제로 얼마나 강한가 — 자판기를 해킹한 AI

GPT-레드의 실력을 보여주는 수치부터 인상적입니다. 기존 학술 연구에서 쓰인 프롬프트 인젝션 테스트 환경에 GPT-레드와 사람 red팀을 각각 투입해 비교한 결과, 사람은 13%의 시나리오에서만 공격에 성공한 반면 GPT-레드는 84%에서 성공했습니다. 훈련에 쓰이지 않은 완전히 새로운 상황에서도, AI가 사람보다 6배 넘게 뛰어난 공격 능력을 보인 셈입니다.

가장 흥미로운 실험은 실제 세계에 배치된 시스템을 상대로 한 테스트입니다. 오픈AI 사무실에는 **'벤디(Vendy)'**라는 AI 자판기 관리 에이전트가 실제로 운영되고 있는데(앤트로픽이 앞서 진행했던 '프로젝트 벤드'와 비슷한 실험입니다), GPT-레드는 이 시스템의 내부 구조를 정확히 모르는 상태에서 공격을 반복 시도한 끝에 세 가지 목표를 전부 달성했습니다. 비싼 재고 상품의 가격을 최저 허용가인 0.5달러로 바꾸고, 100달러 넘는 신규 상품을 0.5달러에 팔도록 설정하고, 심지어 다른 고객의 주문을 취소하는 데까지 성공한 것입니다. 오픈AI는 이 취약점을 곧바로 공개하고 새로운 안전장치를 시험 중이라고 밝혔습니다. 또 다른 실험에서는 코딩 에이전트(코덱스)를 상대로 민감한 데이터를 빼돌리는 시나리오 10개를 시도해, 기존 방식보다 더 효과적이면서도 토큰을 더 적게 쓰는 효율성까지 보였습니다.

그래서 뭐가 좋아졌나 — GPT-5.6에 적용한 결과

이 모든 실험의 최종 목적은 실제 제품 모델을 더 안전하게 만드는 것입니다. 오픈AI는 GPT-레드가 찾아낸 공격 패턴을 앞서 이 블로그에서 다룬 GPT-5.6의 훈련 과정에 직접 반영했다고 밝혔습니다. 그 결과 GPT-5.6 솔은 가장 어려운 직접 프롬프트 인젝션 테스트에서, 불과 4개월 전 최고 성능 모델보다 실패율이 6분의 1로 줄었습니다.

구체적인 사례도 있습니다. '가짜 사고연쇄(Fake Chain-of-Thought)'라 불리는 공격 유형은 이전 모델(GPT-5.1)에서 최대 95%의 성공률을 보였는데, GPT-5.6 솔에서는 10% 아래로 떨어졌습니다. 개발자 도구·브라우징 관련 간접 인젝션 테스트 여러 개는 아예 97% 넘는 정확도로 '포화 상태'에 이르렀고, GPT-레드 자신의 직접 공격 시도에 대해서도 GPT-5.6 솔은 단 0.05%만 실패했다고 합니다.

공정한 질문 — "그냥 답을 거부하게 만든 거 아닌가"

이 대목에서 합리적인 의심이 하나 생깁니다. 모델이 웬만한 요청을 다 거부하거나 능력 자체를 낮추면, 당연히 공격도 더 어려워질 것입니다. 이건 진짜 안전성 향상이 아니라 그냥 쓸모없어진 것일 뿐이죠. 오픈AI도 이 점을 직접 짚었습니다. 회사는 일반적인 프런티어 성능과, 정당한 요청까지 과도하게 거부하는지를 재는 별도 평가를 함께 진행했다고 밝혔는데, 그 결과 일반 성능은 그대로 유지되면서 안전성만 뚜렷하게 개선됐다고 설명합니다. 즉 이번 개선이 모델을 소극적으로 만든 결과가 아니라, 악의적인 지시를 실제로 더 잘 알아채고 거부하는 능력이 좋아진 결과라는 것이 오픈AI의 주장입니다.

더 큰 그림 — 이 흐름, 어디서 많이 본 이야기입니다

이번 발표는 최근 이 블로그에서 다뤄온 흐름과 정확히 맞닿아 있습니다. 지난주 소개해드린 즈푸 AI 창업자 탕지에의 사내 서한은 AGI로 가는 마지막 관문으로 "AI가 스스로를 훈련시키는 자기 진화"를 꼽으며, 이를 위한 안전장치로 대규모 해석가능성 연구 투자를 예고한 바 있습니다. GPT-레드는 바로 그 추상적 비전이 실제로 어떻게 구현되는지 보여주는 구체적 사례입니다. 능력을 키우는 데만 AI를 쓰는 게 아니라, 안전성을 검증하고 강화하는 데도 AI 스스로를 동원하는 것이죠. 앞서 다룬 GPT-5.6 발표에서도 오픈AI 연구자들이 실험 진단과 결과 해석에 이미 AI를 적극 활용하고 있다는 대목이 있었는데, 이번 GPT-레드는 그 흐름의 '안전 버전'에 해당합니다.

한국 독자에게 어떤 의미가 있을까

이 소식은 국내에서 AI 에이전트를 도입하거나 개발하는 기업에게 실질적인 의미가 있습니다. 최근 이 블로그에서 다룬 메타의 뮤즈 스파크, 사카나의 후구, 즈푸의 GLM-5.2까지, 여러 도구와 외부 시스템을 넘나들며 작업하는 '에이전틱 AI'가 빠르게 확산되고 있는데, 이런 에이전트일수록 프롬프트 인젝션 같은 공격에 노출될 여지도 함께 커집니다. 국내 기업이 고객 응대, 결제, 사내 시스템 접근 권한을 가진 AI 에이전트를 도입할 계획이라면, 이번 자판기 해킹 사례처럼 '겉으로는 멀쩡해 보이는 시스템도 얼마든지 조작될 수 있다'는 점을 염두에 두고 도입 전 충분한 보안 검증을 거칠 필요가 있습니다.

더 넓게 보면, AI 기업들이 이제 성능 경쟁만큼이나 '누가 더 안전한 AI를 더 빠르게 만드는가'를 놓고도 경쟁하고 있다는 신호이기도 합니다. 이런 안전 연구에 대한 투자 규모와 진정성이, 앞으로 기업들이 AI 서비스를 선택하는 기준 중 하나가 될 가능성이 있습니다.

정리하며

이번 발표의 핵심은 단순히 "새로운 보안 도구를 만들었다"가 아닙니다. AI의 능력을 키우던 바로 그 방식(대규모 연산을 투입한 자기훈련)을, 이제 안전성을 키우는 데도 그대로 적용하기 시작했다는 점입니다. 오픈AI 스스로 "안전을 위한 플라이휠을 열기 시작했다"고 표현한 것처럼, 오늘의 모델이 내일의 더 안전한 모델을 만드는 데 직접 쓰이는 구조가 자리 잡고 있습니다.

남는 질문은 이렇습니다. 공격하는 AI가 방어하는 AI보다 계속 한발 앞서나간다면, 이 경쟁은 결국 안전 쪽이 승리할 수 있을까요? 그리고 이런 자동화된 공격 능력이 내부에만 머무른다는 보장을, 외부에서는 어떻게 검증할 수 있을까요? 오픈AI가 이번 주 안에 공개하겠다고 예고한 상세 논문이, 이 질문들에 조금 더 답을 줄 것으로 보입니다.