挑样本：结论必然乐观
从成功案例里挑输入，避开长尾与异常，演示自然漂亮。识别信号是评测集没有来源说明与抽样规则；纠正办法是由客户方按时间随机抽样，并保留原始清单备查，客户也不会认可这样的结论，也无法向客户交代。
自标注：自己人当裁判
标注由交付方完成，标准随结果调整，准确率永远达标。应要求业务岗标注、双人交叉、分歧留记录，并计算标注一致率，一致率过低的样本不能进入评测集，事后也无法判断两份标注哪份可信，争议也没有裁量依据。
只测模型不测流程
回答质量不错，但没人处理转人工、审批与留痕，试点一上线就堵在流程上。原型阶段就要把接管与审批画进链路，并实测一次从提问到归档的完整闭环，确认每一步都有人负责，链路才算真正打通。
直连生产：合规亮红灯
为图省事直接读生产库，未脱敏、未授权、未留痕，安全评审一票否决。原型用离线样本即可，需要真实数据时走审批与脱敏，把合规评估前置到第一周，别把它当成上线后补的手续，合规也能提前交底。
目标漂移：验证变开发
第二周开始加多语言、加权限、接系统，原型变成半成品系统，验证周期失控。应守住一个场景、一个模型、一个评测集，新增需求进候选池另立一轮，否则资源会被摊薄，结论也会被稀释，团队精力也不会被分散到支线。
适用与不适用
适合谁
- 正在做原型但进度反复延后的团队
- 评审前想自查验证方法是否成立的项目组
- 试点效果与演示差距较大、需要复盘的企业
不适合谁
- 已完成验证、进入工程化阶段的项目
- 仅做技术预研、不涉及业务判断的团队
典型场景
某银行的项目在第三周发现准确率虚高：评测集由实施方从历史成功案例中挑选。项目组改为按时间随机抽样，并由两名业务人员独立标注，重跑后准确率明显下降，但结论变得可信，范围也随之收窄到条款提示，验证方法也更清楚了。
可执行步骤
- 检查评测集来源、抽样规则与原始清单是否留存，能否复核，并留存清单，并可复核
- 确认标注人来自业务岗，且有交叉复核、分歧记录与一致率统计，记录在案
- 在原型中画出接管与审批链路，并实测一次从提问到归档的完整闭环，留证据
- 核查数据获取是否经过审批、脱敏与操作留痕，能否自证，并留审批记录，并留痕
- 每周对照范围清单，拒绝与本轮验证假设无关的新增需求与临时任务，书面冻结
常见坑
- 用演示效果替代评测结论，立项后被真实数据打回，团队信誉与后续预算一起受损，立项也难通过。
- 标注标准边做边改，前后样本不可比，结论无法复现，也无法和后续模型版本对比，评测失去可比性。
- 把生产库直连当效率，安全评审阶段全量返工，项目进度直接归零，责任也难以划清，返工成本翻倍。
- 范围一路扩张，三个月还没出结论，预算、耐心与信任一起耗尽，项目被迫终止，负责人也难交代，团队也散了。
自检与验收清单
- 评测集是否有抽样说明与原始清单，且可追溯，且可验收
- 标注人是否为业务岗并计算一致率，有交叉复核
- 接管链路是否在原型中实测跑通并留记录，可复核
- 数据使用是否经过审批并留下操作记录，可查验
- 范围是否有书面冻结与候选池管理，并写入纪要
常见问题
准确率多高才算通过？
没有通用阈值，取决于场景容错度与人工接管成本。应先由业务方给出可接受水平与错误类型红线，再对照评测结果判断，避免事后按结果改标准，这一点要提前约定，对双方也更公平。
样本少能不能先做？
可以，但要标注为探索性结论，并说明样本局限。样本过少时只能用于排除明显不可行的方案，不足以支撑立项或预算申请，也不宜对外宣传效果，否则容易让决策层误解，也更稳妥。
供应商给的评测报告能信吗？
要看评测集来源、标注人与复跑条件。建议客户方保留一份独立样本做交叉验证，避免完全依赖单方报告，也能在验收时核对差异，并据此决定是否续约，续约也更有依据，后续也算有据可依。