问题一:是否语言为主

读文档、写回复、做归纳、改格式属于语言任务,收益直接;纯数据搬运与计算不属于,交给规则或报表更稳。判断错了,投入会变成额外维护负担,还会挤占真正该做的场景。

问题二:错误能否被发现

生成内容的错误往往是细节偏差,需要有人能看出来。若业务方自己也无法判断对错,系统就无法安全使用,应先补知识或引入专家复核,而不是先上线再说。

问题三:知识能否整理

需要有人把散落资料整理成条目并保持更新。若资料涉及多方且无人有权确认口径,项目会在知识准备阶段停住,工期与预算同时被消耗,最后不了之。

问题四:现状损耗是否明确

能说清现在每天花多少时间查资料、改格式、写初稿,才有比较基础。说不清现状的项目,通常也说不清上线后的改善,验收时只能靠感觉。

问题五:是否有人持续运营

生成式系统的效果随知识与业务变化而波动,需要有人看反馈、改约束、补条目。缺少运营角色的项目,上线即巅峰,之后逐步退化,最后被用户绕开。

适用与不适用

适合谁

  • 准备做投入决策的业务负责人
  • 在多个 AI 项目间分配资源的管理层
  • 需要给出停止条件的项目组

不适合谁

  • 只想试用、不准备投入运营资源的团队
  • 任务以精确计算为核心的场景

典型场景

某教育企业的教研部门想用生成式 AI 做课程大纲。评估发现大纲需符合内部教学标准、审核人明确、知识可整理,五个问题均通过;同部门的排课计算被排除,仍由排课系统处理。

可执行步骤

  1. 把候选任务按语言与计算两类分开
  2. 为每个任务指定能判断对错的复核人
  3. 盘点知识来源与确认权限
  4. 记录现状耗时与返工情况作为基线
  5. 明确运营责任人后再立项

常见坑

  • 把计算类任务混进生成类项目,验收时无法定义对错。
  • 找不到能判断对错的复核人仍强行上线,错误内容外发。
  • 知识来源分散且无人确认口径,整理工作无限延长。
  • 没有运营人,业务变化后提示词与知识全部失效。

自检与验收清单

  • 任务是否以语言处理为主
  • 是否有能判断对错的复核人
  • 知识来源与确认权限是否明确
  • 是否记录了现状基线
  • 运营责任人是否指定

常见问题

五个问题都通过才做吗?

前四个是必要条件,第五个决定能否持续。若运营无人承担,建议先做小范围工具试用,不进入正式立项。

投入产出怎么衡量?

用耗时结构与返工比例做前后对比,结合接管率判断可用性。不建议在试点前承诺具体比例或回报。

业务方说先做出来看看怎么办?

可以做原型,但要约定观察周期与停止条件,并同步准备知识与复核人,否则原型很难走到可用。

这五个问题怎么用才不流于形式?

每个问题都写下一份可核对的证据,而不是打分。例如复核人要写名字,知识来源要写明授权人,基线要贴出现状记录。评审时逐项对照证据,任何一项只有口头结论就视为未通过,先补材料再谈立项。

参考来源

  1. Stanford HAI: AI Index Report Stanford HAI · 2025
  2. 2024年建筑业发展统计分析 中国建筑业协会 · 2025
  3. 人工智能生成合成内容标识办法(国信办通字〔2025〕2号) 国家互联网信息办公室等四部门 · 2025