코딩하는 상인

테스트 방법

실험 조건과 판정 기준

모든 AI에 같은 요청문과 자료를 주고, 결과와 원화 비용을 기록해요.

실험 조건

요청문, 넣을 자료, 채점 기준은 돌리기 전에 고정하고 돌린 뒤에는 고치지 않아요. 같은 조건으로 다른 모델을 돌리면 새 글을 쓰지 않고 기존 리포트에 한 줄을 더해요.

아래 실험 중 4건은 실행 전에 조건을 고정한 기록(커밋)이 없어요. 그중 3건은 사이트 개편 전에 돌린 실험이에요. 실험마다 사정을 아래에 적었어요.

  • MCP 연결 확인

    OpenAI Docs MCP 연결 확인(MCP Inspector CLI)

    • 2026.09.24 측정, 채점 방식 자동 비교
    • 실험 조건(버전 2026-09-24): mcp-docs-inspector-2026-09-24.zip 안 mcp-docs-inspector-2026-09-24/reproduce.sh
    • 실행 전에 저장소 커밋을 남기지 않았어요. 실행 명령은 reproduce.sh에 있지만, 실행 전에 고정했다는 커밋이나 해시 기록은 없어요.
    • 측정 데이터: manifest.json, results.json

  • API 재시도 동작 확인

    가짜 장애 서버로 시험한 AI API 재시도 코드

    • 2026.09.24 측정, 채점 방식 자동 비교
    • 실험 조건(버전 2026-09-24): run-experiment.mjs
    • 실행 전에 저장소 커밋을 남기지 않았어요. 시나리오와 기대 결과는 run-experiment.mjs 안에 먼저 선언돼 있지만, 그 시점을 증명할 커밋이나 해시 기록은 없어요. 공개한 결과는 시험 중 날짜 해석을 고친 뒤 마지막으로 통과한 실행이에요.
    • 측정 데이터: manifest.json, results.json

  • 회의록 요약 실험

    Gemma3 4B와 Qwen3 4B의 한국어 회의록 요약(내 컴퓨터에서 실행)

    • 2026.09.24 측정, 채점 방식 AI 2개 채점
    • 실험 조건(버전 1): local-llm-korean-summary-2026-09-24.zip 안 local-llm-korean-summary-2026-09-24/protocol/
    • 실행 전에 저장소 커밋을 남기지 않았어요. 대신 2026-09-24T04:10:30.981832+00:00에 protocol/freeze.json으로 회의록·요청문·채점 기준의 SHA-256을 고정했고, 첫 측정은 그 뒤에 시작했어요.
    • 측정 데이터: manifest.json, results.json

  • 한국어 토큰 수 측정

    한국어 토큰 수: GPT와 Gemini

    • 2026.10.13 측정, 채점 방식 자동 비교
    • 실험 조건(버전 1): lab/protocols/korean-token-tax/v1/
    • 실행 때 프로토콜(lab/protocols/korean-token-tax/v1)이 아직 커밋 전이었어요. 대신 실행에 쓴 프로토콜 파일 6개를 bundle.zip의 protocol/에 그대로 넣고 SHA-256을 SHA256SUMS에 고정했어요. 저장소의 프로토콜과 같은지는 tests/lab-run.test.ts가 확인해요.
    • 측정 데이터: manifest.json, results.json

  • 한국어 토큰 수 측정

    한국어 토큰 수: 공개 모델 토크나이저

    • 2026.10.14 측정, 채점 방식 자동 비교
    • 실험 조건(버전 1): lab/protocols/korean-token-tax/v1-open/
    • 실행 전에 조건 고정(커밋 3fc9bae)
    • 측정 데이터: manifest.json, results.json

  • Gemini 4 Argon 무료 계정 확인

    Gemini 앱 무료 계정 화면과 과제 2개

    • 2026.10.14 측정, 채점 방식 AI 2개 채점
    • 실험 조건(버전 1): lab/protocols/gemini-argon-check/v1/
    • 실행 전에 조건 고정(커밋 1706acb)
    • 측정 데이터: manifest.json, results.json

  • Gemini 4 Argon API 확인

    무료 앱과 같은 과제를 Gemini 4 Argon API로 보내기

    • 2026.10.14 측정, 채점 방식 AI 2개 채점
    • 실험 조건(버전 1): lab/protocols/gemini-argon-api/v1/
    • 실행 전에 조건 고정(커밋 e17124d)
    • 측정 데이터: manifest.json, results.json

  • 회의 할 일 정리 b안

    ‘녹취’를 뺀 회의 요청문(Gemini 무료 앱)

    • 2026.10.14 측정, 채점 방식 자동 비교
    • 실험 조건(버전 1): lab/protocols/meeting-actions-variant/v1/
    • 실행 전에 조건 고정(커밋 e17124d)
    • 측정 데이터: manifest.json, results.json

  • 무료 ChatGPT와 Gemini 업무 비교

    무료 ChatGPT 앱과 Gemini 앱에 직장인 업무 5가지를 세 번씩

    • 2026.10.16 측정, 채점 방식 AI 2개 채점
    • 실험 조건(버전 1): lab/protocols/free-chatgpt-gemini/v1/
    • 실행 전에 조건 고정(커밋 67c5e99)
    • 측정 데이터: manifest.json, results.json

채점

  • 자동 비교프로그램이 결과를 실행 전에 적어 둔 기대값과 비교해요.
  • AI 2개 채점AI 2개가 따로 채점한 뒤, 점수가 갈린 곳을 맞춰 정해요.

지금까지 사람이 모델 이름을 가린 채 채점표와 맞춰 본 답은 3개예요. AI 채점도 틀릴 수 있어서 채점 근거와 AI 답 원문을 원본 파일에 넣어 두었어요.

판정

결과와 원화 비용을 보고 운영자가 셋 중 하나를 골라요. AI는 판정을 고르지 않아요.

  • 돈 내고 쓸 만함유료로 써도 값을 해요
  • 무료로만무료라면 쓸 만해요
  • 아직그대로 쓰기엔 일러요

판정은 제품을 써 본 리포트에만 붙이고, 판정을 고른 뒤에 공개해요. 숫자만 잰 측정 리포트와 따라 하기 글에는 붙이지 않아요.

원화 환산

달러 요금은 고정 환율 하나로 원화로 바꿔요. 지금은 1달러 1,340원이에요. 하나은행 매매기준율 1,342.80원(2026.10.13 17:22 고시)을 10원 단위로 반올림한 값이에요(출처).

실시간 시세가 아니에요. 리포트에는 그 실험 계산에 쓴 환율을 따로 적어요. 세금, 카드 수수료, 무료 크레딧은 넣지 않아요.

원화 계산기

가격 확인

각 회사의 공식 요금표를 열어 보고, 본 날짜를 모델마다 적어요. 30일이 지났거나 할인 기한이 끝나면 ‘재확인 필요’를 붙이고, 다시 본 모델만 날짜를 바꿔요. 요금표에 없는 값은 추측으로 채우지 않아요.

외부 수치

외부 수치는 1~2개만 인용하고 링크해요.

출처 정책 보기

한계

실험 한 번은 정해 둔 조건과 설정, 그날의 모델과 가격으로 돌린 작은 표본이에요. 회의록 요약 실험은 컴퓨터 한 대에서 16번 돌린 결과예요. 자료나 설정, 날짜가 다르면 결과도 달라질 수 있어요. 그래서 리포트마다 ‘이 실험의 한계’를 한 곳에 모아 적고, 재지 않은 것은 재지 않았다고 써요.

오류 제보는 메일로 받아요.