字段与摘要准确
从历史通话与邮件里抽样本，逐条核对客户诉求、承诺事项、下一步与时间点是否与原文一致，重点看有没有原文之外的补充。为什么先测这个：摘要是下游建议的输入，摘要错了，排序与提醒都在错误前提上运行，且错误很难被销售当场发现。
建议采纳与修改
记录销售对建议动作的采纳、改写与忽略，并让改写者勾选原因：时机不对、对象不对、内容不合规、信息不足。只看采纳率会被凑数，怎么做才能用于改进：加上改写原因后才能区分建议质量问题与场景不匹配，这是下一轮改规则的主要输入。
流程时效
测三段时长：通话结束到纪要产出、线索进入到首次触达、商机停滞到被提示，并与改造前的人工基线对比。时效要按行业线与渠道分别看，为什么不能合并：平均会把某条线的严重延误掩盖掉，也会让复盘找不到具体环节。
风险拦截
对报价、折扣、账期、质保与独家条款设计对抗性测试，检查模型是否会自行组合承诺。这一类必须全量核对、零容忍，任何一次漏拦都要当作阻断项处理；为什么不能按总体准确率折算：它对应的是一次真实的对外承诺，错一次就无法撤回。
验收表与处置
把四组指标、采样量、判定人与不通过的处理方式写进验收确认单：缩范围、限期整改或按里程碑扣减。没有处置条款，验收会变成一次汇报；有了条款，团队才知道哪类问题必须在上线前解决，哪类可以带到运营期观察。
适用与不适用
适合谁
- 准备与供应商签验收条款的销售负责人
- 有历史通话与邮件样本可抽题的企业
- 多行业线运营、需要分别设时效基线的团队
不适合谁
- 没有历史记录、只能靠现场演示验收的项目
- 希望用使用率或活跃度证明效果并据此付款的团队
典型场景
某设备商在合同里约定：抽两百条历史通话核对摘要字段，抽一百条建议看采纳与改写原因，时效按行业线分别对比人工基线，承诺类做五十条对抗测试并全量核对。首轮承诺拦截漏放两条，范围先收到标准产品线，整改两周后复测通过。
可执行步骤
- 抽样通话、邮件与线索记录，覆盖各行业线与商机阶段，长尾问法单独补足
- 为每条样本标注摘要字段的正确答案与出处，供后续每次版本回归比对
- 设计建议采纳记录表，包含改写原因、提出人与发生时间，便于归因
- 设时效基线，按行业线与渠道分别统计，不做合并平均，避免掩盖延误
- 承诺类做对抗测试并全量核对，漏拦即阻断，不按总体准确率折算处理
- 把不通过的处置写进确认单，约定复测时点与判定人，避免口头承诺
常见坑
- 用使用率与活跃度验收，团队为数字频繁登录，真实质量没人看，问题推迟到丢单才暴露。
- 摘要只看关键词是否出现，不看是否与原文一致，模型补充的推测被当成客户原话，后续判断全部偏掉。
- 采纳率没有改写原因，建议被大量忽略也解释不清，改规则时只能凭印象，越改越随意，也缺乏依据。
- 承诺拦截按总体准确率折算，个别漏放被平均值掩盖，一次错误报价就足以造成损失，纠正要做大量沟通。
自检与验收清单
- 摘要字段是否逐条与原文核对，并标注信息来源
- 建议采纳是否记录改写原因、提出人与发生时间
- 时效是否按行业线与渠道分别设基线，不做平均
- 承诺类是否全量核对，并设为上线前的阻断项
- 不通过的处置方式与复测时点是否写入确认单
常见问题
验收要抽多少样本？
按行业线与场景分层，每个高频场景留足能看出稳定性的量，长尾场景合并抽样。样本太少时单条对错就会改变结论；样本都来自同一行业线，也看不出跨线的稳定性差异。
采纳率低是不是就失败了？
不一定。销售可能因为时机或客户关系忽略建议，这属正常；关键是改写原因里有多少指向内容不合规或信息不足。前者要改规则，后者要补数据，两类问题的修法完全不同。
上线后还要复测吗？
要。素材更新、政策调整与模型版本变化都会影响输出，建议每月用同一批样本回归，重点看承诺拦截与摘要准确两项，其余项可按季度看趋势，避免问题积累到换供应商时才处理。