证据一:样本判定表

每条样本要有原文、判定结论、判定人与判定时间,抽样规则也要写明。为什么强调判定人:同一批样本换个人判,结果可能差出不少,只有标明判定人才能解释差异来源;没有判定人的结论,复核时无从追问。

仓库货架与物流通道
仓库货架:供应链与履约场景自有素材

证据二:对照数据

既可以是同期对照组,也可以是前后同口径对比,但必须说明期间的人员、流程与季节变化。为什么要写干扰因素:缺少说明的对照经不起追问,一旦被指出口径问题,整套结论都要重来一遍。

证据三:过程记录

试点期间的变更、异常、卡点与临时处置都要留痕,按时间排列。为什么重要:结论往往取决于过程中的某次调整,比如第三周补了知识条目;没有过程记录,就无法解释结果为何在某个时点突然变化。

证据四:决议纪要

写清结论是通过、不通过还是有条件通过,条件是什么,谁签的字,下一步动作与时间。边界在于:决议由客户方业务负责人作出,我方提供数据与说明;把决议写成纪要,可避免几个月后对当初的判断各执一词。

复核视角:换人能否重跑

验收前做一次换人复核:让未参与试点的人按证据包重新算一遍结论,看是否一致。怎么样才算证据够用:别人能重跑出同样结论;这个动作通常只花半天,却能提前暴露大部分争议点。

适用与不适用

适合谁

  • 即将结束试点、需要给出明确结论的项目
  • 需要把试点结论提交立项评审的团队
  • 多场景并行试点、需要横向比较的企业

不适合谁

  • 仍在方案讨论阶段、尚无任何样本的项目
  • 以演示效果替代验证、不需要真实数据支撑的汇报场合

典型场景

某三甲医院的门诊分诊建议试点进入收尾。项目组把六周的样本判定表按科室归档,附上两名判定人的分歧记录;对照数据取自同期未上线的两个诊区,并注明期间排班调整;过程记录显示第四周调整过症状词表。决议纪要写明有条件通过,条件是补齐儿科样本。

可执行步骤

  1. 按四类证据逐项列出清单,确认各自的留存位置、文件格式与责任人
  2. 样本判定表补齐原文、结论、判定人与判定时间四项要素,抽样规则单列
  3. 对照数据附上期间人员、流程与季节变化的书面说明,注明采集口径
  4. 过程记录按时间顺序排列,每次调整都标注发起人、原因与影响范围
  5. 组织一次换人复核,由未参与试点的人按证据包独立重算结论并对比差异
  6. 决议纪要写明结论类型、附加条件、签字人与下一步动作的具体时点
部署、实施与验收类目结构示意图
类目示意图:部署、实施与验收通用流程示意 · 上岸智源

常见坑

  • 只交一份结论报告,样本与判定记录早已散失,评审时被追问细节答不上来,几个月的投入只能作废重做。
  • 对照数据取自完全不同的季节,被指出口径问题后又无法补救,原本乐观的结论只能整体下调。
  • 过程记录缺失,无法解释第三周指标为何突然好转,评审组怀疑数据经过挑选,后续扩围被要求重做验证。
  • 决议只有口头结论,既没有签字也没有附加条件,扩围时各方理解不同,退回重谈又拖掉一个季度。
诊室内的检查设备与座椅
诊室场景:合规与隐私边界自有素材

自检与验收清单

  • 四类证据是否齐全,且各有责任人与固定留存位置
  • 样本判定表是否含原文、结论、判定人与判定时间四项
  • 对照数据是否附上人员、流程与季节变化的书面说明
  • 过程记录是否按时间排列,并标注每次调整的原因
  • 换人复核是否做过,两人结论的差异是否有解释
  • 决议纪要是否写明结论类型、附加条件与签字人

常见问题

试点结论能直接当验收依据吗?

不能等同。试点验证的是可行性,验收考核的是完整范围与稳定性,两者判据不同。试点结论可以作为立项与扩围的依据,但正式验收仍需按全量范围重设判据,否则会把小样本的好结果误当成系统能力。

证据要留多细?

细到换个人能重算结论即可。样本原文与判定记录是底线,对照数据与过程记录决定结论能不能被解释;再细的日志往往用不上,但缺了这三样,任何一次外部复核都会变成重新做一遍验证。

客户方不认可结论怎么办?

回到证据与判据两条线:先确认判据是否事先书面确认,再逐条核对证据是否支持结论。属于口径差异的,补一次联合复核;属于样本偏差的,承认并说明补救方案,比在会议上反复争论更有用。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  3. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023