Case 04 · 实习项目 · 脱敏复刻
AI 稽核评测
门店巡检拍一张照片，大模型看图回答「这家店合不合规」，答案必须是机器可读的 JSON——我负责这批回答的质量评测。这页讲三件事：一次格式异常的诊断、一次算分口径的险情、一次把 badcase 变成流程。
模型答完之后、指标出来之前，都是评测的活：字段对不对、口径怎么聚、异常算谁的。
01 · 诊断
「格式异常」是怎么发生的
平台上一批样本集体报「格式异常」，第一反应是模型坏了。回原始记录看，不是答错，是 话没说完就被掐断：给模型的「答题卡」只有 1024 个 token，思考过程先写掉几百个， 正式答案写到一半被截断，JSON 断在半截，下游没法解析。
{"门店":"××（脱敏）","拍摄时间":"19:42",
"垃圾桶满溢":true,"桶盖闭合":false,"周边撒溢":"无",
"思考":"照片光线偏暗，先定位桶体边界，再逐项判断…
答题卡写到这里的就没了——后半段 JSON 永远不会出现，下游直接判「格式异常」。红色光标右边不是没写完，是没机会写。
把答题卡加长后，格式异常清零——没有换模型，没有改提示词，只是给输出留够了预算 （接口记录里的 finish_reason=length 就是「被掐断」的标记，这是定位问题的关键证据）。
02 · 口径
81% × 50% ≠ 62%
105 道题里有 32 道没答完卷（就是上面的格式异常）。这时有两种算分法：
只看答完的 73 份卷子：精确率 81%、召回率 50%，F1 约 62%； 把没答完的 32 份也记零分：整体只剩 44%。
同一个模型、同一批照片，换一种算分法，相差约 18 个百分点。
两个数字都是真的，说的不是同一件事。我当时差点把 62% 当整体口径汇报—— 看评测数字，先问聚合口径：没答完的算不算、怎么算。
03 · 流程
把 badcase 变成流程
评测里反复出现的错，集中在模糊、夜间拍的照片上——照片本身就看不清，模型修一轮也只能被动接招。 后来用归因数据推动「采图质量规则前置」：让不合格的图在采集端就被拦下重拍。 badcase 不只是修模型，也是修流程。
试试：格式异常是怎么拖垮指标的
拖动下面的「答题卡长度」、切换思考模式——亲眼看看两种算分法怎么分道扬镳。
任务：垃圾桶满溢检测 V1 · 样本 105 条 · 4B 级视觉模型（脱敏复刻）
落点：看到指标差，先看执行概览——可能不是模型差，是「模型的话没说完」。
指标差，先看执行概览。
这页是复盘；数字是演示回放，方法是真的。