한국어 토큰 수,
GPT와 Gemini에서는 영어보다 조금 많다

이 시험을 위해 가상의 글 네 개를 새로 썼어요.

• 시립도서관 운영 시간을 다룬 뉴스체 문단(한국어 346자)
• 회의 날짜를 바꿔 달라는 정중한 업무 이메일(282자)
• 한국어 주석이 달린 짧은 파이썬 함수(525자)
• 뉴스 문단과 같은 뜻으로 쓴 영어 대조문(815자)

AI에게 답을 쓰게 하지 않고 토큰 수만 세는 도구를 썼어요. Gemini는 Google의 countTokens API로 셌어요.

GPT는 OpenAI의 공개 토크나이저 tiktoken에 든 o200k_base 인코딩으로 운영자 컴퓨터에서 셌어요. OpenAI API 키가 없어서 API가 모델마다 센 값은 아니에요. tiktoken의 모델 표에 GPT-6 계열이 아직 없어서 같은 인코딩을 쓴다고 가정했어요.

공개 모델은 Hugging Face에 올라온 토크나이저 파일만 받아 운영자 컴퓨터에서 셌어요. 모델 본체는 받지 않았고, 각 회사 API가 센 값도 아니에요. 누구나 받아 상업적으로도 쓸 수 있는 라이선스(Apache-2.0, MIT)의 파일만 골랐어요.

AI가 쓰는 답(출력)의 토큰은 세지 않았어요. 한국어로 답을 받으면 출력 토큰도 같은 식으로 늘 수 있어요.

Claude는 공식 토큰 세기 기능을 쓸 수 없는 상태여서 이번에 세지 못했어요.

뉴스 문단과 이메일을 합쳐 계산하면 한국어 한 글자당 토큰은 GPT 0.57개, Gemini 0.55개예요.

공개 모델 4개도 같은 글로 셌어요.

같은 뜻 뉴스 문단을 영어와 비교하면 Qwen3.8-27B 0.95배, Mistral Small 4 1.01배, DeepSeek-V4.1-Flash 1.33배, GLM-5.3-Flash 1.58배였어요.

한국어 주석이 달린 파이썬 함수는 GPT 191토큰, Gemini 213토큰이었어요.

한국어 글 두 개는 Gemini가, 코드와 영어 문단은 GPT가 더 적게 셌어요. 코드는 영어 대조문이 없어서 한국어 주석 때문에 몇 배가 됐는지는 따지지 않았어요.

한국어와 영어의 차이보다 모델 사이의 차이가 더 컸어요. 100만 토큰당 입력 단가가 GPT-6.1 Sol은 2.00달러, Gemini 3.8 Flash는 0.75달러예요.

Claude Sonnet 5.5의 입력 단가도 GPT-6.1 Sol과 같은 2.00달러라서 토큰 수 차이가 곧 비용 차이가 돼요.

공개 모델은 원화 계산기의 요금표에 없어서 비용으로 바꾸지 않았어요.

공개 모델을 쓸 거라면 그 모델이 한국어를 몇 토큰으로 세는지 먼저 재야 해요.

GPT와 Gemini 비용을 글자 수로 어림할 때는 한국어 한 글자에 토큰 0.55~0.57개로 잡으면 이번 측정과 맞아요. 다만 글 네 개로 잰 값이라 표나 대화 기록처럼 생김새가 다른 글에서는 달라질 수 있어요.