隐性成本一:文档清洗
真实文档有扫描件、合并单元格、互相矛盾的旧版本。清洗与切分往往占项目一半以上人力,且要业务人员参与判断哪版有效;把这块算成零,预算一定不够,进度也会在第三个月开始失控。怎么估清洗工时,先抽样一百份看可读与有效比例。

隐性成本二:召回评测
命中率要按问题类型分组统计,才能看出是词表问题还是解析问题。这项工作要持续做,因为文档在变;只在上线前测一次,三个月后指标就失去意义,团队也就失去了判断改进方向的能力。怎么分组评测,按问法类型分开统计,别只看总体。
隐性成本三:标注与回归
微调的样本要人工写、要复核,训练完还要跑回归确认旧能力没退化。样本量不大时,标注与复核的人力占比更高;忽略这块,模型版本会越管越乱,没人说得清哪一版可以上线。为什么标注更贵,因为要写期望答案,还要有人复核。
隐性成本四:版本与合规
模型与索引都要有版本记录,出问题能回到上一个可用版本;对外服务还要准备来源、许可与标识材料。这些工作不产生功能,但缺失时会导致整改甚至停服,成本远高于提前准备。怎么管版本,模型与索引分别编号,回滚时成套切换。
止损线:两条就够
设两条线:单条问答的人工复核时长上限、每月评测与清洗工时上限。超线就缩范围或改流程,而不是继续加人;把线写进运维手册,比事后追责有效,也便于向管理层解释为什么不扩。怎么设线,取试点实测的均值加两成余量,再按季度复核。
适用与不适用
适合谁
- 正在做年度预算与人力盘点的信息化部门
- 已经发现维护人力吃紧、准备缩范围的项目
- 需要在方案里说明长期投入的负责人
不适合谁
- 只按一次性开发费立项的采购流程
- 没有文档负责人、无人可派的企业
典型场景
某医院想做制度问答,立项时只报了开发费。实施两个月后发现,六百份制度里有大量扫描件与互相冲突的版本,清洗与确认占用了信息科与院办大量时间。项目随后改为分科室推进,每科室先交十份有效制度,并把复核工时纳入月度统计,范围缩小后反而更快上线。
可执行步骤
- 统计文档类型与有效率,估算清洗所需工时与需要多少业务判断投入
- 按问题类型分组测召回,找出主要失败原因与各类问题占比情况与占比
- 为标注与复核指定到人,按月估算工时,并说明缺口怎么补与外援渠道
- 建立模型与索引的版本记录与回滚方式,并做全流程演练一次并留记录
- 设定两条止损线并写进运维手册,明确触发后的动作与决策人姓名与期限
常见坑
- 把文档清洗当成实习生任务,缺少业务判断,切出来的片段互相矛盾,回答前后不一致,用户很快不再使用。
- 召回只测总体命中率,看不出某类问题全错,上线后被用户集中投诉才发现,改起来要重跑评测。
- 微调不留版本与回归记录,效果变差时无法回退,只能全部重做,之前的标注投入也一起浪费。
- 合规材料临时准备,模型来源与许可说不清,评审卡住,已开发的功能无法上线,工期被拖了两个月。

自检与验收清单
- 文档类型与有效率是否统计过,有无抽样验证
- 召回是否按问题类型分组统计,并留存样本集
- 标注与复核人力是否落实到人、到每月工时表
- 模型与索引是否有版本记录与回滚演练记录表
- 两条止损线是否写进运维手册,并指定决策人
常见问题
清洗能不能外包?
可以外包格式转换与初步整理,但哪版有效必须由业务方判断。把判断也外包,得到的只是整齐的错;建议外包做体力活,内部做取舍,并在交付时逐份签收。避免重复投入。一次算清。
评测要一直做吗?
要,但频率可以降。上线初期每周一次,稳定后每月一次;文档大改或模型切换时必须重测。停止评测的系统,通常在下一次业务变更时暴露问题,而那时已经很难补救。代价更高。
隐性成本占多大比例?
因文档质量差异很大,无法给统一比例。可行的做法是用两周试点实测:记录清洗、评测与复核的实际工时,再按范围放大,比套用经验系数可靠,也更容易说服预算评审。与审计。
