题目分成四类
可答题看准确与引用，不可答题看是否拒答，权限题看是否越权，时效题看是否用最新版本。为什么分类：混在一起算总分，会掩盖最危险的越权与过期问题。每类至少十题，由业务方出题并标注标准答案。
离线指标怎么定
看引用是否指向正确段落、答案是否可复核、该拒答时是否拒答、平均响应时间。怎么记录：每题保存提问、检索片段、回答与引用位置，人工判对错。边界是别只看满意率，满意不等于正确，错误也可能让人满意。
影子运行两周
系统接入真实提问但不直接对外答复，由人工比对系统建议与最终答复。为什么必要：离线题目覆盖不到真实问法的多样性。影子期记录差异类型与人工修正量，作为是否进入灰度的依据，并保留样本备查。
灰度与退出条件
先开放给一个部门，设使用量上限与人工复核比例，观察两周再扩。怎么定退出：连续出现越权或引用错误即暂停，整改后重新评测。边界是灰度期不能取消人工复核，否则错误会直接流向业务，纠正成本更高。
适用与不适用
适合谁
- 已完成选型、准备上线试点的知识库项目
- 需要对上线风险做量化评估的信息部门
不适合谁
- 还没有真实文档与提问记录的团队
- 只打算做一次演示汇报、不准备灰度的项目
典型场景
某集团人力资源共享中心用四十道题评测政策问答：可答、不可答、权限与时效各十道。影子运行两周后，发现时效题错误集中在刚换版的考勤制度，补充失效标记与重导流程后复测通过，才向两个部门灰度开放，并保留复测记录。
可执行步骤
- 由业务方出四类题目各十道，标注标准答案、出处与验收人，形成评测集并冻结
- 离线跑一遍，逐题记录检索片段、回答与引用位置，保留原始记录并按周归档
- 人工判对错，统计引用准确、拒答与越权比例，并按失败类型归类，形成失败清单
- 影子运行两周，比对系统建议与人工最终答复，记录修正量与差异类型，每周小结
- 按阈值决定灰度或暂停，写明整改项、责任人、复测时间与退出条件，并通知业务方
常见坑
- 题目全是可答题，拒答与越权没测，上线后遇到敏感提问直接编答案，风险远高于答错，事后也难解释。
- 只看回答是否通顺，不核对引用，错误答案看起来很专业，反而更难被发现和纠正，错误还会被当成经验。
- 影子期太短或样本太少，结论不成立，灰度后问题集中爆发，只能仓促回滚，团队信心也受影响，恢复更难。
自检与验收清单
- 四类题目是否各有十道以上，并由业务方出题签字确认
- 每题是否保存检索片段、引用位置与原始记录，可随时调阅
- 影子期差异类型是否分类记录并统计修正量，并写明修正人
- 灰度退出条件与复测安排是否书面化并有人负责
常见问题
离线评测要多少人参与？
两到三名业务骨干加一名信息人员即可。人太多反而标准不一，建议先由一人出题、两人独立判分，分歧题集中讨论，形成判分说明后再扩大评测范围，结论更稳也更容易复现。
影子运行会不会增加一线负担？
会增加比对工作，但比上线后纠错便宜。可以把比对限制在每天固定数量的样本，其余只记录不比对；关键是覆盖不同问法与权限场景，而不是追求样本总量，时间安排也要避开业务高峰。
指标不达标怎么办？
先定位是数据、切分、权限还是提示词问题，按类型整改后复测。若两轮整改仍不达标，应暂停项目并重新评估场景是否适合，而不是继续加预算或降低验收标准，否则问题只是推迟到上线后。