检查一至二:边界与授权

先写清系统做什么、不做什么、谁使用;再确认输入数据的授权来源与处理边界。这两项缺失时,后续所有验收都缺少基础,范围会随每次沟通重新解释一遍。

检查三至四:部署与知识

部署形态决定数据是否出内网、成本如何变化;知识检索决定回答是否有依据。两者要一起评估,只换模型不修知识,效果通常没有改善,还会增加调用支出。

检查五:评测集

评测集要覆盖高频问题、边界输入与高风险问题三类,并固定下来用于版本对比。每次改动模型、提示词或知识,都用同一套集子跑一遍,才能判断是变好还是变坏。

检查六至七:接管与标识

明确什么情况下转人工、由谁接、多久响应;对外发布的生成内容按《人工智能生成合成内容标识办法》要求做标识。两项都属于上线前的硬性条件,不宜留到运营期补。

检查八:运维与回滚

确认日志留存、额度预警、模型版本锁定与回滚步骤。没有回滚能力的系统,一次异常输出就可能导致业务停用,恢复成本远高于前期准备,责任也很难界定。

适用与不适用

适合谁

  • 准备上线前的项目组
  • 需要做上线评审的技术与业务负责人
  • 正在编写验收文档的甲方团队

不适合谁

  • 还在概念验证早期、尚无明确场景的项目
  • 不接受任何流程约束的临时试验

典型场景

某集团的信息中心在客服助手二期上线前组织评审,按八项逐条核对,发现内容标识与回滚方案缺失。补齐后上线,首月出现两次检索失效,因有日志与回滚,两小时内定位到知识索引问题。

可执行步骤

  1. 把八项检查做成评审表,逐条填写证据
  2. 对缺失项定责任人与完成时间
  3. 上线前用评测集跑一次全量回归
  4. 确认标识、日志与回滚方案可用
  5. 上线后两周内每日查看接管记录

常见坑

  • 把检查表当形式,逐条打勾却没有证据,评审通过后问题仍在。
  • 只测主流程不测异常输入,上线后边界问题集中出现。
  • 忽略额度与并发上限,业务高峰时响应变慢,用户直接放弃使用。
  • 未锁定模型版本,供应商升级后输出风格变化,历史评测结论失效。
  • 标识只做在页面上,导出与转发的内容没有标识,存在合规风险。

自检与验收清单

  • 八项是否都有书面证据
  • 评测集是否覆盖三类问题
  • 接管条件与响应时限是否明确
  • 生成内容标识是否覆盖导出场景
  • 回滚方案是否演练过

常见问题

八项可以并行准备吗?

可以,但边界与授权必须先完成,否则部署形态与知识范围会反复调整。建议前两项落地后,其余六项并行推进。

小项目也要走全套吗?

可以按风险裁剪,例如内部试用可简化标识与回滚,但评测集与接管机制不建议省略,这两项决定系统能否持续使用。

评审由谁主持?

由业务负责人主持、技术负责人提供证据、合规或法务参与。涉及对外发布内容时,法务意见应在上线前取得,而不是事后追认。

参考来源

  1. 互联网信息服务深度合成管理规定(第12号令) 国家互联网信息办公室、工业和信息化部、公安部 · 2022
  2. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023
  3. 住房城乡建设部关于发布国家标准《建设工程工程量清单计价规范》的公告(GB 50500-2013) 住房和城乡建设部 · 2012