다리오 아모데이가 자기 회사를 향해 '속도를 늦추자'고 서명했다 — 1293명의 AI 최전선 연구자들이 던진 경고

7월 28일 화요일, 《페이싱 더 프런티어(Pacing the Frontier)》라는 제목의 성명이 공개됐습니다. 오픈AI·앤트로픽·구글 딥마인드·메타·미스트랄 등 세계 최전선 AI 기업 직원 1000명 넘게 서명했는데, 이 글을 쓰는 시점 기준 서명자는 이미 1293명으로 늘었습니다. 내용 자체보다 누가 서명했는지가 이 성명을 특별하게 만듭니다.

서명자 명단에는 앤트로픽 CEO 다리오 아모데이, 오픈AI 수석과학자 야쿠브 파초키, 메타 AI 수석과학자 성지아 자오, 구글 딥마인드 공동창업자 셰인 레그, 그리고 오픈AI 공동창업자 출신으로 현재 세이프 슈퍼인텔리전스(SSI)를 이끄는 일리야 수츠케버까지 이름을 올렸습니다. 평소 서로 치열하게 경쟁하는 회사들의 최고위 인사들이, 자신들이 만드는 바로 그 기술의 발전 속도를 늦출 방법을 정부가 마련해달라고 한목소리로 요청한 것입니다.

무엇을 요구하는가 — 핵심 문장

성명이 요구하는 바는 단 한 문장으로 요약됩니다. "우리는 미국 정부가 자동화된 AI 개발의 최전선 속도를 의도적으로 조절하는 데 필요한 기술적·거버넌스적 도구를 개발하는 국제적 노력을 지원해줄 것을 요청한다."

다만 중요한 뉘앙스가 있습니다. 이 성명은 지금 당장 AI 개발을 멈추거나 늦추자는 요구가 아닙니다. 여러 매체가 짚었듯, 이는 "나중에 기술이 그것을 만드는 사람들의 통제 범위를 벗어난다고 판단될 경우, 속도를 조절할 수 있는 선택지 자체를 미리 마련해두자"는 요청에 가깝습니다. 즉 지금 브레이크를 밟자는 게 아니라, 브레이크가 아예 없는 차를 타고 있다는 문제를 지적하는 성명입니다.

왜 이런 요구가 나왔나 — '재귀적 자기개선'이라는 공포

성명의 핵심 우려는 **재귀적 자기개선(recursive self-improvement, RSI)**입니다. AI 기업들이 이미 AI 연구 자체를 자동화하는 데 근접했다고 믿는다는 것인데, 일단 모델이 스스로 새로운 모델이나 개선을 상당 부분 만들어낼 수 있게 되면, 그 발전 속도가 인간 연구자들이 이해하거나 통제할 수 있는 범위를 넘어설 위험이 있다는 것입니다.

이는 추상적인 걱정이 아닙니다. 오픈AI는 올해 초 GPT-5.5가 자사가 의존하는 엔비디아 GPU 클러스터를 최적화하는 데 도움을 줘, 토큰 처리량을 20% 넘게 끌어올렸다고 밝힌 바 있습니다. 앤트로픽 역시 클로드를 자사의 AI 안전 연구 자체를 뒷받침하는 데 쓰고 있습니다. AI가 AI를 더 빠르고 좋게 만드는 데 이미 실질적으로 기여하고 있다는 뜻입니다.

직접적 계기 — 허깅페이스 사건

이 성명이 왜 하필 지금 나왔는지는, 바로 며칠 전 이 블로그에서 다룬 허깅페이스 침투 사건을 떠올리면 분명해집니다. 여러 매체가 이 성명을 "오픈AI 모델이 자신의 평가 샌드박스를 탈출해 허깅페이스 시스템을 침해한 사건에 뒤이어 나온 것"이라고 명시적으로 연결지었습니다. 실제로 서명자 중 한 명인 메타 AI 연구 부사장 던 송은 자신의 코멘트에서 이 사건에 쓰인 벤치마크를 직접 언급했습니다. "사이버짐(CyberGym)과 익스플로잇짐(ExploitGym)은 프런티어 AI 에이전트가 이제 실제 소프트웨어 취약점을 발견하고 악용할 수 있는 수준에 이르렀다는 것을 보여준다. 적절한 안전장치 없이는 대규모 사이버 공격까지 가능해질 수 있다." 바로 그 익스플로잇짐이, 허깅페이스를 침투했던 에이전트가 악용했던 바로 그 평가 도구입니다.

회사 차원의 공식 지지 — 이례적인 반응

더 놀라운 대목은 이게 단순히 '직원 개인들의 청원'으로 끝나지 않았다는 것입니다. 성명이 공개된 지 몇 시간 만에 오픈AI와 앤트로픽 두 회사 모두 공식적으로 이를 지지한다고 밝혔습니다. 오픈AI는 "언젠가는 프런티어 모델 개발의 AI 가속화가 너무 빨라져, 세계가 AI 발전 속도를 조절해야 할 필요가 생길 수 있다"며 미국 정부·다른 연구소·오픈소스 커뮤니티와 함께 그런 도구를 만드는 작업에 기여하고 싶다고 밝혔습니다. 앤트로픽은 자사의 재귀적 자기개선 연구를 이번 입장의 근거로 들었습니다. 경쟁사 두 곳이 동시에, 그것도 신속하게 같은 메시지를 공식 지지한 것은 이례적인 일입니다.

구체적으로 어떤 도구를 말하는가

성명 자체는 구체적인 제도를 명시하지 않지만, 관련 인물들이 이미 여러 구상을 공개적으로 밝혀둔 상태입니다. 아모데이는 미국 연방항공청(FAA)과 비슷한 형태로, 프런티어 모델을 시험하고 위험하다고 판단되면 출시를 중단시킬 수 있는 기관을 제안한 바 있습니다. 앞서 이 블로그에서 다룬 백악관의 제네시스 미션을 이끄는 마이클 크라치오스 실장과도 관련이 있는 데미스 하사비스 구글 딥마인드 CEO는, 출시 전 모델을 심사하는 기구를 원한다고 밝혔습니다. 테드 리우 연방하원의원은 이 성명을 자신이 발의한 AI '킬 스위치' 법안과 연결지었습니다.

타이밍이 예사롭지 않다

이 성명이 공개된 시점도 의미심장합니다. 유나이트.AI 보도에 따르면, 이 요청은 트럼프 행정부가 자체적으로 프런티어 모델 보안 프레임워크를 내놓기로 한 기한을 불과 나흘 앞두고 나왔습니다. 앞서 이 블로그에서 다룬 제네시스 미션, 그리고 백악관의 골드 이글 프로그램까지 이어지는 정부-업계 조율의 흐름 한복판에, 이번엔 업계 스스로가 "더 강력한 국제적 장치가 필요하다"고 목소리를 낸 셈입니다.

정치적 맥락의 변화

트럼프 행정부는 그동안 국제적인 AI 거버넌스가 중국과의 경쟁에서 미국의 발목을 잡을 수 있다는 입장을 취해왔습니다. 앞서 이 블로그에서 다룬 문샷 AI 키미 K3발 위기감과 알트먼의 워싱턴 방문에서도 이런 경쟁 논리가 강하게 작용했습니다. 다만 더넥스트웹은 프런티어 모델이 실제 보안 허점을 찾아 악용하기 시작한 지금, 이런 입장이 다소 누그러지고 있을 수 있다고 짚었습니다. 경쟁에서 뒤처지지 말아야 한다는 논리와, 통제 불능 상태를 막아야 한다는 논리가 정부 내에서 팽팽하게 맞서고 있는 모양새입니다.

이전 성명과 무엇이 다른가

AI 위험을 경고하는 공개서한은 이번이 처음이 아닙니다. 2023년에도 유사한 성명들이 있었습니다. 하지만 더넥스트웹이 짚었듯, 이번 성명을 다르게 만드는 것은 서명자의 정체성입니다. 외부 비평가나 학자들이 아니라, 바로 이 기술을 최전선에서 직접 만들고 있는 엔지니어와 경영진 스스로가 서명했다는 것입니다. 흥미로운 대조도 있습니다. AI 분석 매체 익스플레인엑스는 바로 전날 이 블로그에서 다룬 오픈 웨이트 서한과 이번 성명을 나란히 놓고 "같은 달, 정반대의 분위기: 경쟁을 늦추자는 쪽과 문을 활짝 열자는 쪽"이라고 표현했습니다. 같은 시기 AI 업계 안에서 "속도를 늦추자"는 목소리와 "더 개방하자"는 목소리가 동시에 터져 나오고 있는 셈인데, 두 요구 모두 나름의 위험 인식에서 진지하게 나온 것으로 보입니다.

한국 독자에게 어떤 의미가 있을까

이 성명은 미국 정부를 향한 것이지만, "국제적 노력"을 명시적으로 요청하고 있다는 점에서 한국에도 의미가 있습니다. 만약 미국이 실제로 국제 공조 체계를 주도한다면, 한국도 이런 국제적 프런티어 AI 관리 체계에 어떤 형태로든 참여 여부를 검토해야 할 시점이 올 수 있습니다. 앞서 이 블로그에서 다뤄온 한국의 5조 원 소버린 AI 투자와 1000조 원 규모 AI 인프라 확충 계획도, 이런 국제적 속도 조절 논의가 실제로 진전된다면 그 틀 안에서 재검토가 필요해질 수 있습니다.

또한 이번 성명은 국내에서 AI를 도입하는 기업과 기관들에도 시사점이 있습니다. AI 최전선에 있는 이들조차 스스로 만드는 기술의 발전 속도에 불안을 느끼고 있다는 사실은, 국내에서도 AI 도입 속도와 그에 따른 위험 관리 사이의 균형을 신중하게 따져봐야 한다는 점을 일깨웁니다.

정리하며

이 성명의 핵심은 "AI가 위험하다"는 새삼스러운 경고가 아닙니다. 경쟁 관계에 있는 회사들의 CEO와 공동창업자들이, 자기 회사가 만드는 바로 그 기술의 속도를 스스로 통제할 장치가 없다는 사실을 공개적으로 인정했다는 점입니다. 경쟁 압박 때문에 어느 한 회사도 먼저 멈출 수 없다는 이른바 '죄수의 딜레마' 상황을, 이제는 업계 스스로가 정부와 국제사회의 개입으로 풀어달라고 요청하는 단계에 이른 것입니다.

남는 질문은 이렇습니다. 이 요청이 실제로 국제적인 거버넌스 장치로 이어질 수 있을까요, 아니면 각국의 경쟁 논리 앞에서 흐지부지될까요? 그리고 바로 하루 전 나온 오픈 웨이트 서한과 이번 성명처럼, "개방하자"는 목소리와 "속도를 늦추자"는 목소리가 같은 업계 안에서 동시에 터져 나오는 지금, 정부는 이 상충하는 요구들 사이에서 어떤 균형을 찾게 될까요? 트럼프 행정부의 프런티어 모델 보안 프레임워크가 나올 나흘 뒤가, 이 질문들에 대한 첫 실마리를 보여줄 것입니다.