指标一:发现阶段前移

统计问题首次被发现的环节:需求、原型、预验收还是上线后。发现越靠前,返工成本越低。这个指标不需要模型侧数据,从问题台账按环节打标就能得到,是四项里落地成本最低的一项。

课堂全景:学员分桌而坐,讲师在前
课堂全景:讲师与学员自有素材

指标二:返工轮次

记录同一场景从首次提交到签认之间的返工次数与原因分类。轮次下降说明标准前置有效;若轮次不变而会议变多,往往只是把争论从交付现场挪到了会议室,流程看起来更规范而实际没变。

指标三:验收周期

把从提交验收到签认的天数拆成等待、补证、复验三段。多数拖延发生在补证段,说明标准或证据清单没写清,而不是评审人太忙。按段改进比笼统催促有效,也更容易向管理层解释。

指标四:证据完备率

抽查若干已签认项目,看样本、抽检记录、处置结论与签认页是否齐全。缺项最集中的那一类,就是下一版验收模板要补的字段。改进方向由数据直接给出,不需要再开一次讨论会。

适用与不适用

适合谁

  • 已建立验收流程、想判断是否真在起作用的团队
  • 需要向管理层说明验收改进效果的项目经理
  • 正在设计项目复盘模板的项目管理办公室

不适合谁

  • 还没做过一次完整验收的团队
  • 希望用一套数字横向比较不同业务线成熟度的组织

典型场景

某制造企业的数字化小组把过去一年八个 AI 场景翻出来,按问题发现环节重新打标,发现七成争议发生在上线后。于是把样本抽检提前到原型阶段,并在确认单里加了证据清单。下一季度验收周期与返工轮次同时下降,复盘讨论也从追责转向口径校准。

可执行步骤

  1. 建一张问题台账,字段包含发现环节、原因分类、处置结论与责任人。
  2. 选三到五个已交付场景回填台账,作为初版基线数据与后续对比起点。
  3. 按季度统计发现阶段分布、返工轮次,以及验收周期三段各自时长。
  4. 把补证耗时最长的环节写进下一版验收清单,并同步更新项目模板。
  5. 与项目组逐条过一遍结果,只调整流程,不改考核口径与部门排名。
方法、团队与训练营类目结构示意图
类目示意图:方法、团队与训练营通用流程示意 · 上岸智源

常见坑

  • 把指标做成部门排名,台账被修饰,看到的都是好数据。规避:指标只用于流程校准,不进入个人绩效与部门评比。
  • 只统计会议次数与文档页数,忽略问题发现阶段,验收看起来更规范而返工并未减少,投入也没有回报。
  • 基线没回填就直接定目标值,数据无可比性,第二季度起没人再认真填写,台账逐渐变成形式记录。
团队在便利贴墙前讨论工作坊
工作坊:团队共创与拆解自有素材

自检与验收清单

  • 问题台账是否标注发现环节、原因分类与处置结论
  • 是否回填了至少三个场景的基线数据可供对比
  • 验收周期是否拆成等待、补证与复验三段分别统计
  • 指标是否只用于流程校准,不进入个人绩效考核

常见问题

没有历史数据怎么起步?

先选三个刚交付的场景,凭会议记录与聊天记录回填,容许不精确。跑完一个季度后再定基线,起步阶段的目的是看清问题集中在哪个环节,而不是把数字算准。

指标要不要和绩效挂钩?

建议不挂。验收类指标一旦进入考核,填报方会倾向把问题记为已解决,观察价值立刻下降。它更适合作为项目复盘与流程改进的输入,而不是评价个人的尺子。

效果不好是不是验收思维没用?

更常见的是标准不可观测或验收人无权签认。先检查这两条,再判断方法本身;多数团队的问题出在写法与授权而不在理念,贸然换方法还会把真实原因一起掩盖。

参考来源

  1. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023
  2. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  3. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023