指标一：可回答率
从真实提问里抽一批问题，看知识库能否给出有依据的答案、答案能否定位到具体条目。这个指标反映覆盖度，比条目总数可靠得多；统计时要区分答不出与答得含糊，后者通常说明条目缺判断依据，该补访谈而不是补文字。怎么做：先定口径再抽样。
指标二：引用准确率
抽查回答引用的条目是否真的支持结论、条目是否仍在有效期内。准确率低通常不是模型问题，而是条目过期或适用范围没写清。核对时让业务人员盲评，避免出题的人自己判卷，也避免用同一批样题反复调优后自我感觉良好。边界是抽样要覆盖不同难度。
指标三：独立上手时间
记录新人从入职到能独立处理某类任务所需时间，与萃取前的基线比较。这个指标变化慢，但最能说明价值；基线要在项目开始前取，事后补记往往失真，也容易被写进汇报当成宣传数字，反而不被业务部门认可。为什么慢：它反映真实熟练度。
指标四：复用与纠错
统计条目被检索、被引用、被修订的次数，以及一线主动报错的次数。报错数量上升不一定是坏事，说明使用者开始信任并愿意纠偏；长期为零反而要怀疑有没有人真正打开过，这比指标高低更值得追问，也更接近真实使用状态。边界是别把报错数当唯一信号。
边界：不做效果承诺
上述指标受业务波动、人员变动与场景差异影响，只能作为内部改进依据，不宜对外承诺具体提升幅度。对外表述写方法与口径，不写比例结论；涉及考核时先约定统计周期，避免同一指标被两种算法各说一套。边界是考核口径要与统计口径一致。
适用与不适用
适合谁
- 已运行一段时间、需要向管理层说明投入方向的团队
- 正在比较知识库方案、要求试用验证的企业
- 需要把知识工作纳入年度改进计划的部门
不适合谁
- 要求用单一数字证明萃取价值、不接受抽样核对的决策者
- 尚未积累真实提问记录、也无从取基线的项目
典型场景
一家物业公司的客服中心上线知识库半年，管理层要求说明效果。质量主管从三个月的通话记录里抽两百个真实问题，让两位班组长盲评答案是否有依据，同时统计新员工独立接线所需天数，并与上线前的培训档案比对，最后只提交指标口径与问题清单，不写提升比例，把改进项分到条目补写与培训两个方向。
可执行步骤
- 从真实提问记录里抽一批问题，覆盖不同岗位、不同难度，并保留原话
- 定义答出、含糊、答错三档判定标准，先培训评委再开评，并保留提问原话与来源
- 让不知情的业务人员盲评，逐条记录引用是否支持结论，避免口径漂移
- 与萃取前的上手时间基线对比，并注明统计口径与样本范围，评委不参与条目编写
常见坑
- 把条目总数当效果，汇报好看，一线却查不到可执行答案，后续投入方向随之走偏，评估流于形式
- 出题人自己判卷，样题与条目同源，准确率必然虚高，上线后问题照旧暴露，指标也失去说服力
- 基线事后补记，时间口径混乱，前后对比无法解释，评估工作只能重来，只能重新取一次基线
自检与验收清单
- 是否区分答出、含糊、答错三档，并写明判定示例
- 评委是否为不知情的业务人员，且未参与条目编写
- 是否保留了萃取前的基线记录与统计口径，口径是否一致
- 结论是否落成具体条目补写任务并指定负责人
常见问题
没有历史基线怎么评
用横向对照：选一个未做萃取的相似班组作为参照，同期比较上手时间与差错类型；同时用同一批样题做前后对照，并在报告中注明基线缺失这一限制，避免把差异全归于萃取。
准确率多少算合格
没有通用阈值。先看错误类型：若错误集中在过期条目与适用范围缺失，说明维护机制比准确率数字更该先修；若错误分散在判断类问题，则要继续补访谈，而不是反复调提示词优化得分。
这些指标能给客户看吗
可以给方法与口径，不给比例承诺。客户现场条件不同，同一套方法的结果差异很大；把抽样方式与判定标准写清，比给一个好看的数字更能建立信任，也更经得起复核。