双人盲评最省事
把系统输出与人工结果混在一起，去掉来源标记，交给两名资深人员分别打分，再看一致率与分歧点。为什么有效：盲评能压掉对新工具的先入判断，也比让参与者自评可靠；两名评审的分歧样本，往往正是需要优先修的地方。
前后对比要同口径
对比上线前后同一批任务的耗时、错误率与返工次数，口径必须一致，包括统计起止点与是否含复核。为什么强调口径：把复核时间排除在外，任何系统都会显得更快；口径一旦不同，数字再漂亮也无法在评审会上站住脚。
错误代价要加权
同样是出错，答错金额与答错标点的影响差得很远。怎么做：先给任务分类，为每类约定相对权重，再计算加权错误率；不区分权重的平均准确率会掩盖高风险错误，让改进方向偏离重点。
时间成本按实际算
把参与者的投入折算成工时，与节省下的处理时间相抵，得出净变化。边界在于：工时单价由客户方财务口径确定，我方只提供工时记录与计算方法；把人员成本折算成金额对外公布时，需注明假设，避免被误读为承诺。
样本不足时怎么表述
样本量小、观察期短时，结论只能写方向与条件，不能写比例。边界就在这里：给出区间与置信说明，明确哪些场景已验证、哪些仍属推测；把推测包装成结论，扩围时会被推翻，代价更大。
适用与不适用
适合谁
- 试点即将结束、需要量化结论的项目
- 正在比较两个候选方案优劣的团队
- 要把验证结果提交预算评审的业务部门
不适合谁
- 样本量极少、无法支撑任何比较的试用
- 以参与者主观感受为唯一证据的评估
典型场景
某保险经纪公司在保单信息抽取试点结束后做了三组比较：抽取同一批两百份保单做双人盲评，对比试点前后的录入耗时，并按险种给错误设定权重。结果显示常规险种已可用，复杂团险仍需人工复核。委员会据此决定只在常规险种扩围，避免了全面铺开的风险。
可执行步骤
- 先确定衡量的对象与口径，写清统计的起止点、是否含复核与返工时间
- 准备一批两端都不熟悉的样本，去掉来源标记后交两名评审独立打分
- 按任务类型分别设定错误权重，算出加权错误率而不只看平均准确率
- 采集试点前后的同口径耗时与工作量，折算净变化并注明计算时的假设
- 样本不足时只用方向性的表述，附上已验证范围与仍属于推测的部分
常见坑
- 用参与者自评的满意度代替效果度量，结论一边倒，评审会上被追问细节时无人能答出所以然。
- 统计口径在试点前后悄然变化，数字显得更好看，复核后被打回，连带影响整份报告的信用。
- 把所有错误按同一权重平均，高风险场景的问题被稀释，改进资源被投到了并不重要的地方。
- 样本不足却给出了明确的比例，扩围验证时结果明显回落，团队对这套数据的信任度大幅下降。
自检与验收清单
- 衡量对象与统计口径是否事先写定并双方确认
- 是否准备了去掉来源标记的盲评样本与两名评审
- 是否准备了去掉来源标记的盲评样本，并安排两名评审
- 错误权重是否按任务类型分别设定，并记录设定理由
- 耗时统计是否包含复核、返工与等待的时间成本
常见问题
没有对照组还能衡量吗？
可以，用同口径前后对比加盲评交叉验证，但要在报告中说明缺少对照带来的不确定性。若业务本身波动大，建议延长观察期或增加样本量来抵消，而不是靠调整口径让结果看起来更整齐。
满意度问卷有用吗？
有用但不能单独使用。问卷适合发现体验问题与新的卡点，不适合作为效果结论；把问卷里的具体抱怨与样本错型对照起来看，往往能定位到知识与流程上的真实缺口，这比一个平均分更有价值。
效果算出来不高怎么办？
先看错误集中在哪里，再判断是场景、数据还是流程的问题。很多所谓效果不佳，实际是流程没改导致系统多出一道工序；把流程调整后重测一轮，比直接换模型更容易拿到改善，也更省投入。