{
  "schemaVersion": 1,
  "runId": "2026-09-24-local-llm-korean-summary",
  "headline": [
    {
      "key": "sendableSummaries",
      "label": "그대로 보낼 만한 요약",
      "value": 0,
      "unit": "번",
      "display": "0/16번"
    },
    {
      "key": "gemma3-4b-short-warm-median",
      "label": "Gemma3 4B 응답",
      "value": 6.274264917010441,
      "unit": "초",
      "display": "6.27초"
    },
    {
      "key": "localCostPerRun",
      "label": "1회 비용 · 내 컴퓨터에 깔면",
      "value": 0,
      "unit": "원",
      "display": "0원"
    }
  ],
  "leadVisual": {
    "type": "excerpts",
    "ref": "gemma3-4b-short"
  },
  "excerpts": [
    {
      "id": "gemma3-4b-short",
      "subjectKey": "gemma3-4b",
      "condition": "short",
      "text": "다음은 회의록의 최종 결정과 미확정 사항을 요약한 것입니다.\n\n1.  **공개 예정일과 공개 조건:** 공개 예정일은 10월 6일로 확정되었으며, 참여 상점 수는 기존 50곳에서 20곳으로 변경되었고, 공개 모집은 하지 않기로 결정되었습니다.\n2.  **참여 상점 수와 모집 방식:** 참여 상점 수는 20곳으로 제한하며, 기존 상점들을 초청하여 모집하는 방식으로 진행됩니다.\n3.  **승인 예산, 부가세와 모니터링 도구 비용의 포함 여부:** 승인 예산은 부가세를 포함하여 90만 원이며, 모니터링 도구 비용 6만 원도 이 예산에 포함됩니다.\n4.  **개발 담당자가 제출할 산출물과 기한:** 개발 담당자는 10월 2일 오후 6시까지 시험 보고서와 되돌릴 처리 코드를 제출해야 합니다.\n5.  **시험에 사용할 문의 자료와 제외할 자료:** 시험에 사용될 문의 자료는 개발 담당자가 작성한 가상 자료만 사용하며, 실제 고객 문의나 개인 정보는 사용하지 않습니다.\n6.  **자동 분류 중단 기준, 되돌릴 처리 방식과 기존 기록 처리:** 자동 분류는 최근 100건 중 잘못 분류된 문의가 3건을 초과할 경우 중단하고, 정확히 3건일 경우에는 중단 조건에 해당하지 않습니다. 되돌릴 처리 방식은 기존 기록을 유지합니다.\n7.  **이번 시험 범위에서 제외한 기능:** 자동 결제 및 자동 환불 기능은 이번 시험 범위에서 제외됩니다.\n8.  **주말 지원 결정 상태, 결정할 담당자와 기한:** 주말 지원 결정은 미확정 상태이며, 운영 책임자가 9월 28일까지 결정하여 알려주기로 했습니다.",
      "marks": [
        {
          "start": 80,
          "end": 80,
          "kind": "miss",
          "label": "빠짐: 품질 검증 통과 조건"
        },
        {
          "start": 433,
          "end": 450,
          "kind": "wrong",
          "label": "원문에 없음: 원문은 담당자가 작성한 가상 자료라고만 정하며, 작성 주체를 개발 담당자로 특정하지 않는다."
        },
        {
          "start": 569,
          "end": 569,
          "kind": "miss",
          "label": "빠짐: 수동 처리로 되돌림"
        }
      ],
      "finish": "stop"
    },
    {
      "id": "gemma3-4b-long",
      "subjectKey": "gemma3-4b",
      "condition": "long",
      "text": "다음은 회의록에서 추출한 최종 결정과 미확정 사항을 한국어로 요약한 것입니다.\n\n1.  **공개 예정일과 공개 조건:** 공개 실험은 9월 30일에 진행되며, 상점 20곳을 초대하여 모집합니다. 공개 모집은 진행하지 않습니다.\n2.  **참여 상점 수와 모집 방식:** 참여 상점 수는 20곳으로 제한되며, 기존 상점들을 초청하여 모집합니다.\n3.  **승인 예산, 부가세와 모니터링 도구 비용의 포함 여부:** 총 예산은 부가세 포함 90만 원이며, 모니터링 도구 비용 6만 원도 포함됩니다.\n4.  **개발 담당자가 제출할 산출물과 기한:** 개발 담당자는 10월 2일 오후 6시까지 시험 보고서와 되돌리기 코드를 제출해야 합니다.\n5.  **시험에 사용할 문의 자료와 제외할 자료:** 시험에 사용될 문의 자료는 개발 담당자가 작성한 가상 자료만 사용하며, 실제 고객 문의나 개인 정보는 사용되지 않습니다.\n6.  **자동 분류 중단 기준, 되돌릴 처리 방식과 기존 기록 처리:** 자동 분류는 100건 중 잘못 분류된 문의가 3건을 초과할 경우 중단하고, 정확히 3건일 때는 중단 조건에 해당하지 않습니다. 저장된 처리 기록은 유지됩니다.\n7.  **이번 시험 범위에서 제외한 기능:** 자동 결제와 자동 환불 기능은 이번 시험 범위에서 제외됩니다.\n8.  **주말 지원 결정 상태, 결정할 담당자와 기한:** 주말 지원 결정은 운영 책임자가 9월 28일까지 결정하여 알려주도록 합니다. (미확정)",
      "marks": [
        {
          "start": 68,
          "end": 87,
          "kind": "wrong",
          "label": "틀림: 폐기된 초안 날짜를 공개일로 제시했고, 품질 검증 통과 조건도 누락했다."
        },
        {
          "start": 402,
          "end": 419,
          "kind": "wrong",
          "label": "원문에 없음: 원문은 담당자가 작성한 가상 자료라고만 정하며, 작성 주체를 개발 담당자로 특정하지 않는다."
        },
        {
          "start": 535,
          "end": 535,
          "kind": "miss",
          "label": "빠짐: 최근 100건이라는 범위, 수동 처리로 되돌림"
        }
      ],
      "finish": "stop"
    },
    {
      "id": "qwen3-4b-short",
      "subjectKey": "qwen3-4b",
      "condition": "short",
      "text": "Okay, let's tackle this query. The user wants a summary in Korean of the final decisions and pending items from the meeting minutes, following specific instructions. They want eight numbered points, each with one or two sentences, and no appendix recommendations.\n\nFirst, I need to go through the meeting minutes carefully. The original meeting is about a small shop inquiry classification feature test. Let me parse each section.\n\n1. **공개 예정일과 공개 조건**: The initial draft said September 30th, but after discussion, it's moved to October 6th with the condition that quality verification passes. So the final decision is October 6th, conditional on passing quality checks.\n\n2. **참여 상점 수와 모집 방식**: Initially 50 shops, but they decided to invite only 20 existing shops. No public recruitment. So 20 shops, invitation-only.\n\n3. **승인 예산, 부가세와 모니터링 도구 비용의 포함 여부**: The approved budget is 900,000 won including VAT. The monitoring tool cost of 60,000 won is included in the 900k. So no extra cost.\n\n4. **개발 담당자가 제출할 산출물과 기한**: Development team has to submit test report and revert code by October 2nd, 6 PM.\n\n5. **시험에 사용할 문의 자료와 제외할 자료**: Only use fake data created by the responsible person. No real customer info like names, phone numbers.\n\n6. **자동 분류 중단 기준, 되돌릴 처리 방식과 기존 기록 처리**: If more than 3 misclassified queries in the last 100, stop auto-classification and switch to manual. When exactly 3, it doesn't trigger. Existing records are kept.\n\n7. **이번 시험 범위에서 제외한 기능**: Auto payment and auto refund are excluded. Only inquiry classification is tested.\n\n8. **주말 지원 결정 상태, 결정할 담당자와 기한**: Still undetermined. The responsible person must decide by September 28th, but the latest decision says it's pending and they need to confirm if only weekdays are supported.\n\nWait, the user says to follow the final decision, not the draft. Let me check the meeting minutes again.\n\nIn the meeting minutes:\n\n- 기획 담당 says: 일정은 10월 6일, 품질 검증 통과를 조건으로 확정합니다. 참여 대상도 기존 상점 20곳 초대로 고치겠습니다. 초안의 날짜와 인원은 폐기합니다. So public date is Oct 6, condition is quality pass. Participants: 20 existing shops.\n\n- 회계 담당: Approved budget 900k including VAT, monitoring tool 60k is included.\n\n- 개발 담당: Submit test report and revert code by Oct 2, 6pm.\n\n- 운영 담당: Use fake data only, no real customer info.\n\n- 개발 담당: Auto classification stops if >3 misclassifications in last 100. Existing records kept.\n\n- 기획 담당: Auto payment and refund excluded.\n\n- 운영 담당: Weekend support decision pending, responsible person to decide by Sep 28, but latest decision says it's undetermined and they need to confirm if only weekdays.\n\nSo for each point:\n\n1. 공개 예정일과 공개 조건: 10월 6일, 품질 검증 통과 시 진행\n\n2. 참여 상점 수와 모집 방식: 기존 상점 20곳 초대, 공개 모집 없음\n\n3. 승인 예산, 부가세와 모니터링 도구 비용의 포함 여부: 승인 예산 90만 원(부가세 포함), 모니터링 도구 비용 6만 원 포함\n\n4. 개발 담당자가 제출할 산출물과 기한: 시험 보고서 및 되돌리기 코드, 10월 2일 오후 6시까지\n\n5. 시험에 사용할 문의 자료와 제외할 자료: 개발 담당자가 작성한 가상 자료만 사용, 실제 고객 정보(이름, 전화번호) 제외\n\n6. 자동 분류 중단 기준, 되돌릴 처리 방식과 기존 기록 처리: 최근 100건 중 잘못 분류된 문의가 3건을 초과하면 자동 분류 중단 및 수동 처리로 되돌리고, 정확히 3건일 때는 중단 조건",
      "marks": [
        {
          "start": 0,
          "end": 0,
          "kind": "off",
          "label": "요청과 다름: 완성된 한국어 최종 답이 아니에요"
        },
        {
          "start": 1655,
          "end": 1655,
          "kind": "miss",
          "label": "불분명: 결정할 담당자가 운영 책임자라는 명확한 지정"
        },
        {
          "start": 1703,
          "end": 1754,
          "kind": "wrong",
          "label": "원문에 없음: 원문은 주말 지원을 미확정으로 남기고 평일만 지원한다고 확정하지 말라고 한다."
        },
        {
          "start": 2836,
          "end": 2853,
          "kind": "wrong",
          "label": "원문에 없음: 원문에 없는 작성 담당자 특정."
        },
        {
          "start": 2989,
          "end": 2989,
          "kind": "off",
          "label": "요청과 다름: 출력 한도 1,024토큰에서 끊겼어요"
        }
      ],
      "finish": "length"
    },
    {
      "id": "qwen3-4b-long",
      "subjectKey": "qwen3-4b",
      "condition": "long",
      "text": "Okay, let's tackle this query. The user wants a summary in Korean of the final decisions and pending items from the meeting minutes, following specific rules. They mentioned to list eight items in order, each with one or two sentences, and not to include the appendix recommendations.\n\nFirst, I need to go through the meeting minutes carefully. The original meeting notes are in Korean, so I'll parse them.\n\nThe main points from the meeting:\n\n1. **공개 예정일과 공개 조건**: The initial draft said September 30th, but after discussion, it's moved to October 6th with the condition that quality verification passes. So final decision is October 6th, after quality check.\n\n2. **참여 상점 수와 모집 방식**: Initially 50 shops, but now 20 existing shops only. No public recruitment.\n\n3. **승인 예산, 부가세와 모니터링 도구 비용의 포함 여부**: Approved budget is 900,000 (including tax), and the monitoring tool cost of 60,000 is included. So no extra cost.\n\n4. **개발 담당자가 제출할 산출물과 기한**: Development team will submit test report and revert code by October 2nd, 6 PM.\n\n5. **시험에 사용할 문의 자료와 제외할 자료**: Only use virtual data created by the responsible person. No real customer info, names, phone numbers.\n\n6. **자동 분류 중단 기준, 되돌릴 처리 방식과 기존 기록 처리**: If 3+ misclassified queries in 100, stop auto classification and switch to manual. When exactly 3, it doesn't trigger. Existing records are kept.\n\n7. **이번 시험 범위에서 제외한 기능**: Auto payment and auto refund are excluded. Only test query classification.\n\n8. **주말 지원 결정 상태, 결정할 담당자와 기한**: Still undetermined. Responsible person to decide by September 28th.\n\nThe appendix has design recommendations but the user says not to include those in the list. So I need to ignore the appendix part.\n\nCheck if there's any discrepancy between draft and final. The user says if there's a difference, follow the final decision. The meeting notes show that the final decision was made after discussions, so the final is what's stated in the meeting.\n\nLet me structure each point as per the 8 items.\n\n1. 공개 예정일과 공개 조건: 최종 합의는 10월 6일로 확정, 품질 검증 통과 시 공개.\n2. 참여 상점 수와 모집 방식: 기존 상점 20곳만 초대, 공개 모집하지 않음.\n3. 승인 예산, 부가세와 모니터링 도구 비용의 포함 여부: 승인 예산 90만 원(부가세 포함)이며 모니터링 도구 비용 6만 원은 포함됨.\n4. 개발 담당자가 제출할 산출물과 기한: 시험 보고서 및 되돌리기 코드는 10월 2일 오후 6시까지 제출.\n5. 시험에 사용할 문의 자료와 제외할 자료: 담당자가 작성한 가상 자료만 사용, 실제 고객 정보(이름, 전화번호) 제외.\n6. 자동 분류 중단 기준, 되돌릴 처리 방식과 기존 기록 처리: 최근 100건 중 3건 이상 잘못 분류 시 자동 분류 중단, 정확히 3건은 중단 조건에 해당하지 않음. 기존 처리 기록은 유지.\n7. 이번 시험 범위에서 제외한 기능: 자동 결제 및 자동 환불 기능 제외.\n8. 주말 지원 결정 상태, 결정할 담당자와 기한: 운영 책임자가 9월 28일까지 결정할 예정.\n\nCheck if each point is one or two sentences. The user said \"한두 문장으로 답하고\". So each item should be one or two sentences.\n\nAlso, make sure not to add anything from the appendix. The appendix is for design recommendations but the user says not to include them.\n\nLet me verify each point against the meeting notes.\n\nFor item 1: The initial draft was 9/30, but final is 10/6 with quality check. Correct.\n\nItem 2: 50 shops to 20 existing. No public recruitment. Correct.\n\nItem 3: Budget 900k including tax, monitoring tool 60k included. Correct.\n\nItem",
      "marks": [
        {
          "start": 0,
          "end": 0,
          "kind": "off",
          "label": "요청과 다름: 완성된 한국어 최종 답이 아니에요"
        },
        {
          "start": 1195,
          "end": 1229,
          "kind": "wrong",
          "label": "틀림: 3건 이상이라고 한 뒤 정확히 3건은 제외한다고 하여 기준이 내부 모순이다."
        },
        {
          "start": 2316,
          "end": 2373,
          "kind": "wrong",
          "label": "틀림: 3건 이상이라고 한 뒤 정확히 3건은 제외한다고 하여 기준이 내부 모순이다."
        },
        {
          "start": 3030,
          "end": 3030,
          "kind": "off",
          "label": "요청과 다름: 출력 한도 1,024토큰에서 끊겼어요"
        }
      ],
      "finish": "length"
    }
  ],
  "matrices": [
    {
      "id": "required-facts",
      "title": "필수 사실 8개 대조",
      "columns": [
        {
          "subjectKey": "gemma3-4b",
          "condition": "short"
        },
        {
          "subjectKey": "gemma3-4b",
          "condition": "long"
        },
        {
          "subjectKey": "qwen3-4b",
          "condition": "short"
        },
        {
          "subjectKey": "qwen3-4b",
          "condition": "long"
        }
      ],
      "rows": [
        {
          "label": "공개 예정일과 공개 조건",
          "cells": [
            "missing",
            "wrong",
            "correct",
            "correct"
          ]
        },
        {
          "label": "참여 상점 수와 모집 방식",
          "cells": [
            "correct",
            "correct",
            "correct",
            "correct"
          ]
        },
        {
          "label": "승인 예산, 부가세와 모니터링 도구 비용의 포함 여부",
          "cells": [
            "correct",
            "correct",
            "correct",
            "correct"
          ]
        },
        {
          "label": "개발 담당자가 제출할 산출물과 기한",
          "cells": [
            "correct",
            "correct",
            "correct",
            "correct"
          ]
        },
        {
          "label": "시험에 사용할 문의 자료와 제외할 자료",
          "cells": [
            "correct",
            "correct",
            "correct",
            "correct"
          ]
        },
        {
          "label": "자동 분류 중단 기준, 되돌릴 처리 방식과 기존 기록 처리",
          "cells": [
            "missing",
            "missing",
            "correct",
            "wrong"
          ]
        },
        {
          "label": "이번 시험 범위에서 제외한 기능",
          "cells": [
            "correct",
            "correct",
            "correct",
            "correct"
          ]
        },
        {
          "label": "주말 지원 결정 상태, 결정할 담당자와 기한",
          "cells": [
            "correct",
            "correct",
            "unclear",
            "correct"
          ]
        }
      ],
      "totals": [
        {
          "label": "맞힌 사실",
          "values": [
            "6/8",
            "6/8",
            "7/8",
            "7/8"
          ]
        },
        {
          "label": "끝까지 답함",
          "values": [
            "4/4",
            "4/4",
            "0/4",
            "0/4"
          ]
        }
      ],
      "note": "영어 검토문과 중간 초안이 섞인 답도 응답 전체로 대조했어요. 완성된 한국어 답인지는 ‘끝까지 답함’에서 따로 셌어요."
    }
  ],
  "series": [
    {
      "id": "warm-latency",
      "title": "응답 시간",
      "unit": "초",
      "better": "lower",
      "groups": [
        {
          "label": "짧은 입력 963자",
          "bars": [
            {
              "subjectKey": "gemma3-4b",
              "value": 6.274264917010441
            },
            {
              "subjectKey": "qwen3-4b",
              "value": 15.278179083950818,
              "partial": true
            }
          ]
        },
        {
          "label": "부록 붙인 긴 입력 2,875자",
          "bars": [
            {
              "subjectKey": "gemma3-4b",
              "value": 5.8655385409947485
            },
            {
              "subjectKey": "qwen3-4b",
              "value": 16.658351166988723,
              "partial": true
            }
          ]
        }
      ],
      "note": "모델을 메모리에 올려 둔 상태 3번의 중앙값이에요. 잘림 표시는 답을 끝내기 전 출력 한도에 걸린 시간이에요."
    }
  ],
  "costs": [
    {
      "subjectKey": "gemma3-4b",
      "perRunKrw": 0,
      "monthly": {
        "perDay": 10,
        "days": 30,
        "krw": 0
      },
      "basis": "measured",
      "note": "유료 API 호출 0회예요. 전기료와 장비값은 재지 않았어요."
    },
    {
      "subjectKey": "qwen3-4b",
      "perRunKrw": 0,
      "monthly": {
        "perDay": 10,
        "days": 30,
        "krw": 0
      },
      "basis": "measured",
      "note": "유료 API 호출 0회예요. 전기료와 장비값은 재지 않았어요."
    },
    {
      "subjectKey": "claude-sonnet-5",
      "perRunKrw": 7.683560000000001,
      "monthly": {
        "perDay": 10,
        "days": 30,
        "krw": 2305.0679999999998
      },
      "basis": "estimated",
      "note": "Gemma3 4B 짧은 입력 실측 토큰(입력 767·출력 420)에 Claude Sonnet 5 공식 단가를 곱한 어림값이에요. 이 모델은 한국어를 다르게 잘라 셀 수 있고, 요약 품질은 시험하지 않았어요."
    }
  ]
}