判据先写死再上线

验收标准如果在上线后才商量,谈的就不再是质量而是付款节奏。可用的判据包括任务成功率、人工接管率、异常处置时长与关键场景覆盖。怎么做:上线前由双方确认,之后只填数、不改口径。

机房内工程师检查设备
部署场景:机房与交付自有素材

证据要能被复核

证据的标准是换一个人拿着记录能重跑出同样结论。因此要保留样本原文、判定结论、判定人与时间,而不是只给汇总百分比。为什么这条最容易被跳过:汇总数字做起来快,却经不起追问。

接管记录是核心证据

错误发生在哪、由谁接手、多久处理完、用户是否满意,这串记录比任何成功率都更能说明系统状态。它同时暴露能力边界与流程断点,做扩展立项时可以直接当依据,不必重新做一轮调研。

权限与日志要可审计

验收时应导出一次权限矩阵与调用日志,确认谁能看什么、每次调用是否留痕、敏感字段是否脱敏。边界在于:我方提供技术记录与说明,审计结论与合规判定由客户方安全与法务岗位作出,交付方不替代。

验收单怎么写

写清交付物清单、判据达成情况、未闭环事项、双方签认人与日期,附件挂证据索引。为什么未闭环事项必须写进单子:口头约定半年后没人记得,扩展时又要重新扯一遍,边界也因此模糊。

适用与不适用

适合谁

  • 即将进入验收阶段、需要一次性通过评审的交付项目
  • 需要向审计或管理层提供交付证明的团队
  • 多供应商协作、需分清责任边界的集成项目

不适合谁

  • 尚无量化判据、只靠主观感受评价的项目
  • 要求交付方替客户出具合规结论的委托

典型场景

某银行信用卡中心上线智能工单摘要功能。验收前双方确认五项判据与抽检比例,交付方导出两周的接管记录与调用日志,风控部门独立抽三十条核对;未闭环的两项写入验收单附件,约定两周内补齐。验收会由业务负责人签认,合规结论另由该行合规部出具。

可执行步骤

  1. 在上线前把判据、抽检比例与判定人写进验收方案,由双方签字确认
  2. 按判据逐项准备证据包,每条结论都附原始记录、判定人与索引编号
  3. 上线后导出权限矩阵与调用日志,检查脱敏是否生效、调用是否留痕
  4. 组织抽检复核,由客户方独立抽样,交付方只负责说明情况与提供资料
  5. 把未闭环事项逐条写进验收单附件,约定责任人、补齐时点与验证方式
部署、实施与验收类目结构示意图
类目示意图:部署、实施与验收通用流程示意 · 上岸智源

常见坑

  • 验收标准临时改写,交付方按旧口径准备的材料全部作废,会议变成责任争论,尾款与后续扩展一起搁置。
  • 只交汇总百分比,没有原始样本与判定记录,抽检时无法自证,双方对同一组数据得出相反结论。
  • 未闭环事项只在会上口头确认,三个月后接手人不知情,问题在换人之后集中暴露,追责无据。
  • 把合规结论写进交付方责任范围,审计时无法出具,项目被迫延期重做材料,双方都受损失。
仓库货架与物流通道
仓库货架:供应链与履约场景自有素材

自检与验收清单

  • 判据、抽检比例与判定人是否在上线前书面确认
  • 证据包是否可按索引追溯到原始样本与判定记录
  • 是否导出权限矩阵与调用日志并确认脱敏生效
  • 未闭环事项是否有责任人、时点与验收单附件
  • 合规与审计结论是否明确由客户方相关岗位出具

常见问题

验收不通过怎么办?

先把争议收敛到判据与样本两条:核对判据是否在上线前确认、抽检样本是否属于约定范围。属于交付质量问题的,按变更流程整改并重跑同一批样本;属于范围理解差异的,先签补充确认,再决定整改还是调整范围。

证据要留多久?

至少覆盖系统一个完整运行周期,通常建议一年以上,涉及合同履行的按合同约定。留档内容包括样本、判定记录、权限导出与验收单;人员流动是常态,只存在个人电脑里的记录等于没有记录。

客户方不配合抽检怎么办?

把抽检写成验收流程的必经环节并约定时限,超时未抽检则由双方指定第三方,或按交付方记录先行确认,并在验收单中注明。这样既推进项目,也避免日后被质疑验收不充分。

参考来源

  1. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023
  2. AI Risk Management Framework (AI RMF 1.0) 美国国家标准与技术研究院(NIST) · 2023
  3. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024