准备：含拒答的评测集
从真实提问里抽题，覆盖常见问法、边界问法与应当拒答的问法；每题写明期望要点与可接受差异。没有拒答题的评测集会高估效果，因为模型乱答也能算有输出，评分时无法区分。怎么出题，从工单与会话里抽，保留原始问法。
基线：跑 RAG 版本
用同一模型、同一份知识库跑一遍，记录引用命中率、要点覆盖与拒答正确率。基线的作用是划出一条可比较的线；后续任何改动都要在同一批题上重跑，否则无法归因，也说不清改进来自哪里。为什么基线不可省，因为没有它，改动好坏只能靠感觉。
分流：按失败类型处理
答不出多是检索问题，先修切分、词表与解析；答得偏是提示词或材料冲突；格式不统一才轮到微调。分流能避免把检索问题带进训练，浪费标注人力与时间，也能让每笔投入都有对应的问题。怎么分流，先看检索片段是否含答案，再判断表达问题。
微调：小步做再对照
确需微调时，只用少量高质量样本，保留独立评测集，并在训练后重跑同一批题，重点看拒答与旧能力是否退化。指标下降就回滚，不要用再训一轮来掩盖问题，那样只会让版本更难管。怎么防止退化，评测集里保留旧任务的固定题。
灰度：留证据再放量
选定方案后在一个班组灰度两周，记录真实问法与接管情况；把评测集、结果、版本号与决策理由归档。半年后复盘或换人时，这份记录比任何演示都有用，也能避免同样的争论再来一次。怎么留证据，评测集、结果与版本号一起归档。
适用与不适用
适合谁
- 需要在两周内给出路线建议的架构团队
- 已有一版 RAG 但效果不稳的项目
- 要向上汇报验证过程与依据的负责人
不适合谁
- 没有真实提问可抽样、只能拿公开样例验证的团队
- 不打算保留评测记录、只想尽快上线的项目
典型场景
某电商平台要给售后客服配知识助手。团队从三个月会话里抽一百二十条问题，含二十条应转人工的；先跑 RAG 基线，发现退换货时效类问题常引错段落，定位到政策文档有新旧两版。清理版本后重跑，引用命中改善；格式仍不统一，才安排小样本微调，并在灰度中记录接管原因。
可执行步骤
- 抽取含拒答题的评测集，逐条写明期望要点、可接受差异与评分人名单
- 跑 RAG 基线，记录引用命中、要点覆盖与拒答正确率三项数据
- 按失败类型分流到检索、提示词或微调，并写明判断依据与样本量记录
- 确需微调时小样本训练，并在训练后重跑同一批题看退化与退化情况
- 灰度两周并归档结果、指标与决策理由，同时保留回退入口与回退开关
常见坑
- 评测集全是顺口的问题，没有拒答与边界题，系统看起来准确率很高，实际乱答无人发现，风险积累。
- 修完检索直接上微调，两处同时改，效果变好也说不清是哪一步起的作用，下次无法复用经验。
- 微调后只测新任务、不测旧能力，客服发现老问题答得不如以前，只能紧急回滚，用户已经受到影响。
- 验证记录留在个人电脑里，换人后无法复现，下一次选型又从零开始讨论，时间与信任都被消耗。
自检与验收清单
- 评测集是否含拒答与边界题，各占多少条、由谁出题
- 基线是否记录了引用命中、要点覆盖与拒答率
- 失败是否按检索、提示词、微调三类分流处理
- 微调后是否重测旧能力，指标有无下降超过门槛
- 验证记录是否归档，并能被他人复现全部结果
常见问题
先跑 RAG 会不会耽误时间？
不会，反而省时间。RAG 基线通常两三周能出结果，它能告诉你问题是否在检索；若在检索，微调再多次也没用。跳过基线直接训练，返工概率更高，标注投入也很可能白费。也能省预算。
微调后指标下降怎么办？
直接回滚到上一个版本，再分析是样本噪声、训练过头还是评测集偏差。不要在同一版上反复加训，越训越难判断；回滚是正常操作，不是失败，写进流程就不必纠结。写进流程即可。
验证结果要谁签字？
建议由业务负责人与技术负责人共同确认，写清门槛与结论。涉及对外服务的，还要请法务与信息安全过一遍数据流向与标识方式，避免上线后补材料，也便于划分责任。边界。