AI 벤치마크, 이렇게 읽습니다

숫자 옆의 단위가 판단을 바꿉니다

작업당 비용과 토큰당 가격

Artificial Analysis의 작업 비용은 평가 과제를 수행하는 데 드는 비용입니다. Arena의 가격 열은 입력·출력 각각 100만 토큰당 달러 단가입니다. 작업 하나에 쓰는 토큰이 모델과 설정마다 다르므로 두 숫자를 같은 가격으로 비교하면 안 됩니다. 구독 앱의 월 요금과 API 사용료도 별개입니다.

출력 속도와 기다리는 시간

초당 토큰 수는 출력을 내보내는 속도입니다. 사용자가 느끼는 대기시간에는 답변을 시작하기 전의 추론과 도구 실행도 영향을 줍니다. 빠른 출력 속도만 보고 바로 답하는 모델이라고 판단하지 말고 첫 응답과 전체 응답 시간까지 확인하세요.

신뢰구간과 표본 수

점수 옆 ± 표시는 추정의 불확실성을 함께 보여줍니다. 점수가 근접한 두 모델의 순위가 한두 칸 다르다는 이유만으로 큰 성능 차이를 단정하지 않습니다. 표본 수가 많다는 사실만으로 내 업무에 더 적합하다는 결론도 나오지 않습니다.

미등재·미측정과 0점

표에 모델이 없으면 수록 범위 밖이거나 해당 평가 결과를 확보하지 못했을 수 있습니다. 실패했다는 뜻이 아닙니다. 측정값이 없는 칸은 0으로 채우지 않습니다. 숫자로 정렬할 수 있는 열에서 미측정 항목은 마지막에 놓고, 원본 순위 숫자는 그대로 둡니다.

모델 이름 뒤의 실행 조건

high·max 같은 추론 설정, fallback, 에이전트 도구 구성이 점수에 영향을 줄 수 있습니다. 제공사별 상위 모델 하나만 보고 그 회사의 모든 모델이 같은 성능이라고 생각하지 마세요. API를 선택할 때는 모델 ID와 사용할 수 있는 설정을 제공사의 문서에서 다시 확인합니다.

내 업무에 맞는 후보를 고르는 순서

다음은 코딩하는 상인이 제안하는 비교 절차입니다. 외부 평가 기관의 채점법이나 이 사이트에서 이미 수행한 실험 결과를 뜻하지 않습니다.

1. 1.

   통과해야 할 조건부터 적습니다.

   예를 들어 한국어 문의 답변이라면 금액·날짜 오류 없음, 환불 정책 준수, 허용한 표현 사용을 확인 항목으로 둡니다. 문장이 자연스럽다는 느낌만으로 통과시키지 않습니다.

2. 2.

   가까운 평가에서 후보 두세 개를 고릅니다.

   대화라면 Text, 이미지 문서라면 Vision, 저장소 수정이라면 SWE-bench를 출발점으로 삼습니다. 내 예산과 제공 조건을 만족하지 못하는 모델은 이 단계에서 제외합니다.

3. 3.

   같은 입력과 조건으로 직접 비교합니다.

   같은 프롬프트·입력 자료·도구 권한을 주고 모델 ID, 추론 설정, 실행일을 기록합니다. 결과를 볼 때 모델 이름을 가려 두면 이름에서 오는 기대를 줄일 수 있습니다.

4. 4.

   실패한 경우와 수정 비용까지 기록합니다.

   반드시 틀리면 안 되는 조건은 따로 판정하고, 사실 확인이나 수작업 수정에 걸린 시간도 적습니다. 한 번 잘된 응답만 고르지 않고 애매한 입력과 실패 사례를 포함해 다시 실행합니다.

5. 5.

   품질을 통과한 후보끼리 비용을 비교합니다.

   토큰 사용량, 요청 횟수, 재시도, 대기시간을 함께 봅니다. 공개 벤치마크 1위보다 내 업무의 필수 조건을 안정적으로 통과하는 모델이 실용적인 선택일 수 있습니다.