先建评测集再谈验收
从历史会话里抽真实问题，覆盖高频意图、长尾问法、政策变更期问法与对抗性问法，形成固定题集并标好正确答案与依据来源。没有固定题集，验收就退化成现场演示，供应商换一版提示词即可让当天表现变好，企业无法判断真实稳定性，也无法在后续版本之间做比较。
事实准确率怎么测
按题逐条人工判定三件事：结论是否正确、依据是否来自有效知识条目、是否出现无依据补充。售后场景的错误常藏在细节里，比如保修起算时间、配件是否含在范围内。建议按意图分层抽样，安全与费用类必须全量核对，因为这两类的单次错误代价最高。
接管质量比接管率重要
接管率高低本身没有好坏，关键在于该接管的是否接管、接管时上下文是否完整。验收时随机抽取接管会话，检查客户是否需要重复描述、坐席是否拿到订单与历史记录、平均等待时长是否在约定范围内。接管混乱的系统，接管率越低反而越危险，因为问题被留在了机器人里。
时效与体验分开看
首响时延、会话轮次、一次解决率、满意度是体验指标，与准确性要分开统计，否则会互相掩盖。比如压缩回复长度能提升速度却降低解决率。建议按渠道分别设基线，与上线前的人工数据对比，而不是拿外部平均值当标准，这样才能看出真实变化。
不合格怎么处理
验收条款要写清不通过时的处置：缩范围、回退人工、限期整改或按里程碑扣减。缺了这一条，验收会变成一次表态。常见做法是把范围收窄到已达标意图，其余继续人工承接，达标后再扩；这比整体推迟上线更能保住业务节奏，也更容易向管理层解释。
适用与不适用
适合谁
- 准备与供应商签验收条款的客服与售后负责人
- 已有历史会话数据、能抽出评测题集的企业
- 多渠道运营、需要分别设定体验基线的客服中心
不适合谁
- 没有任何历史会话、只能靠现场演示验收的团队
- 希望用单一拦截率证明效果并据此付款的项目
典型场景
某通信服务商在合同中约定：上线前用三百条真实问题做验收，安全与费用类全量核对，其余按意图分层抽检；接管会话抽五十条检查上下文完整性；时效按渠道与人工基线对比。首轮未达标的两类意图收窄范围继续人工，其余按期上线，一个月后补测通过再逐步扩大。
可执行步骤
- 从近半年会话抽题，覆盖高频、长尾、政策变更期与对抗性问法，形成固定题集
- 为每题标注正确答案、依据来源与适用条款版本，便于后续回归比对
- 按意图分层设抽样比例，安全、费用与责任类必须全量核对，不留抽样
- 定义接管会话的检查项、等待时限、交接字段与判定标准，形成检查表
- 把不通过的处置方式写进合同与验收确认单，并保留双方签字的版本
常见坑
- 题集只覆盖标准问法，上线后遇到口语化与错别字问法大量失效，评测结论失真，团队却以为系统没问题。
- 拿供应商自带的演示题做验收，题与知识库同源，看不出真实差距，也无法证明知识更新后的表现。
- 只看平均时延不看长尾，少数超长等待的会话恰好是最复杂的投诉，问题被平均数掩盖掉。
- 验收不通过没有处置条款，最后只能带病上线，问题全部留到运营期再补，代价明显更高。
自检与验收清单
- 评测题是否来自真实会话，并标注依据来源与版本
- 安全、费用与责任类是否逐条全量核对而非抽样
- 接管会话是否检查上下文完整性，客户是否被要求重复描述
- 是否按渠道分别设体验基线，并注明对比口径与样本期
- 不通过的处置方式是否写入合同与验收确认单
常见问题
验收需要多少道题才够？
取决于意图数量而非拍脑袋。常见做法是每个高频意图不少于若干题，长尾意图合并抽样，并额外加入政策变更期与对抗性问法。题量太少时单题对错就会显著改变结论，无法支撑上线判断。
准确率定多少才算通过？
不建议直接套用通用比例。应先测人工基线，再看场景容错：安全、费用、责任类要求接近全对，查询类可以宽松。把不同意图分层设门槛，比一个总体数字更能反映真实风险，也更容易在合同里写清。
上线后还要继续验收吗？
要。知识更新、政策调整、模型版本变化都会影响表现，建议每月用同一题集回归一次，并记录每次变更后的差异。没有回归机制的系统，质量下滑往往在两三个月后才被发现。