隐性成本一:文档清洗

真实文档有扫描件、合并单元格、互相矛盾的旧版本。清洗与切分往往占项目一半以上人力,且要业务人员参与判断哪版有效;把这块算成零,预算一定不够,进度也会在第三个月开始失控。怎么估清洗工时,先抽样一百份看可读与有效比例。

桌面上的笔记本电脑与方案界面
方案桌面:规划与汇报自有素材

隐性成本二:召回评测

命中率要按问题类型分组统计,才能看出是词表问题还是解析问题。这项工作要持续做,因为文档在变;只在上线前测一次,三个月后指标就失去意义,团队也就失去了判断改进方向的能力。怎么分组评测,按问法类型分开统计,别只看总体。

隐性成本三:标注与回归

微调的样本要人工写、要复核,训练完还要跑回归确认旧能力没退化。样本量不大时,标注与复核的人力占比更高;忽略这块,模型版本会越管越乱,没人说得清哪一版可以上线。为什么标注更贵,因为要写期望答案,还要有人复核。

隐性成本四:版本与合规

模型与索引都要有版本记录,出问题能回到上一个可用版本;对外服务还要准备来源、许可与标识材料。这些工作不产生功能,但缺失时会导致整改甚至停服,成本远高于提前准备。怎么管版本,模型与索引分别编号,回滚时成套切换。

止损线:两条就够

设两条线:单条问答的人工复核时长上限、每月评测与清洗工时上限。超线就缩范围或改流程,而不是继续加人;把线写进运维手册,比事后追责有效,也便于向管理层解释为什么不扩。怎么设线,取试点实测的均值加两成余量,再按季度复核。

适用与不适用

适合谁

  • 正在做年度预算与人力盘点的信息化部门
  • 已经发现维护人力吃紧、准备缩范围的项目
  • 需要在方案里说明长期投入的负责人

不适合谁

  • 只按一次性开发费立项的采购流程
  • 没有文档负责人、无人可派的企业

典型场景

某医院想做制度问答,立项时只报了开发费。实施两个月后发现,六百份制度里有大量扫描件与互相冲突的版本,清洗与确认占用了信息科与院办大量时间。项目随后改为分科室推进,每科室先交十份有效制度,并把复核工时纳入月度统计,范围缩小后反而更快上线。

可执行步骤

  1. 统计文档类型与有效率,估算清洗所需工时与需要多少业务判断投入
  2. 按问题类型分组测召回,找出主要失败原因与各类问题占比情况与占比
  3. 为标注与复核指定到人,按月估算工时,并说明缺口怎么补与外援渠道
  4. 建立模型与索引的版本记录与回滚方式,并做全流程演练一次并留记录
  5. 设定两条止损线并写进运维手册,明确触发后的动作与决策人姓名与期限
选型与对比类目结构示意图
类目示意图:选型与对比通用流程示意 · 上岸智源

常见坑

  • 把文档清洗当成实习生任务,缺少业务判断,切出来的片段互相矛盾,回答前后不一致,用户很快不再使用。
  • 召回只测总体命中率,看不出某类问题全错,上线后被用户集中投诉才发现,改起来要重跑评测。
  • 微调不留版本与回归记录,效果变差时无法回退,只能全部重做,之前的标注投入也一起浪费。
  • 合规材料临时准备,模型来源与许可说不清,评审卡住,已开发的功能无法上线,工期被拖了两个月。
课堂现场:成排学员面向讲台
成排就座:课堂听讲自有素材

自检与验收清单

  • 文档类型与有效率是否统计过,有无抽样验证
  • 召回是否按问题类型分组统计,并留存样本集
  • 标注与复核人力是否落实到人、到每月工时表
  • 模型与索引是否有版本记录与回滚演练记录表
  • 两条止损线是否写进运维手册,并指定决策人

常见问题

清洗能不能外包?

可以外包格式转换与初步整理,但哪版有效必须由业务方判断。把判断也外包,得到的只是整齐的错;建议外包做体力活,内部做取舍,并在交付时逐份签收。避免重复投入。一次算清。

评测要一直做吗?

要,但频率可以降。上线初期每周一次,稳定后每月一次;文档大改或模型切换时必须重测。停止评测的系统,通常在下一次业务变更时暴露问题,而那时已经很难补救。代价更高。

隐性成本占多大比例?

因文档质量差异很大,无法给统一比例。可行的做法是用两周试点实测:记录清洗、评测与复核的实际工时,再按范围放大,比套用经验系数可靠,也更容易说服预算评审。与审计。

参考来源

  1. 《算力基础设施高质量发展行动计划》配套解读 工业和信息化部 · 2023
  2. IDC:IDC首次定义AI云市场,2025年中国市场规模达684亿元 IDC(国际数据公司) · 2026
  3. 企业数据资源相关会计处理暂行规定 财政部 · 2023