检查一至二:边界与授权
先写清系统做什么、不做什么、谁使用;再确认输入数据的授权来源与处理边界。这两项缺失时,后续所有验收都缺少基础,范围会随每次沟通重新解释一遍。
检查三至四:部署与知识
部署形态决定数据是否出内网、成本如何变化;知识检索决定回答是否有依据。两者要一起评估,只换模型不修知识,效果通常没有改善,还会增加调用支出。
检查五:评测集
评测集要覆盖高频问题、边界输入与高风险问题三类,并固定下来用于版本对比。每次改动模型、提示词或知识,都用同一套集子跑一遍,才能判断是变好还是变坏。
检查六至七:接管与标识
明确什么情况下转人工、由谁接、多久响应;对外发布的生成内容按《人工智能生成合成内容标识办法》要求做标识。两项都属于上线前的硬性条件,不宜留到运营期补。
检查八:运维与回滚
确认日志留存、额度预警、模型版本锁定与回滚步骤。没有回滚能力的系统,一次异常输出就可能导致业务停用,恢复成本远高于前期准备,责任也很难界定。
适用与不适用
适合谁
- 准备上线前的项目组
- 需要做上线评审的技术与业务负责人
- 正在编写验收文档的甲方团队
不适合谁
- 还在概念验证早期、尚无明确场景的项目
- 不接受任何流程约束的临时试验
典型场景
某集团的信息中心在客服助手二期上线前组织评审,按八项逐条核对,发现内容标识与回滚方案缺失。补齐后上线,首月出现两次检索失效,因有日志与回滚,两小时内定位到知识索引问题。
可执行步骤
- 把八项检查做成评审表,逐条填写证据
- 对缺失项定责任人与完成时间
- 上线前用评测集跑一次全量回归
- 确认标识、日志与回滚方案可用
- 上线后两周内每日查看接管记录
常见坑
- 把检查表当形式,逐条打勾却没有证据,评审通过后问题仍在。
- 只测主流程不测异常输入,上线后边界问题集中出现。
- 忽略额度与并发上限,业务高峰时响应变慢,用户直接放弃使用。
- 未锁定模型版本,供应商升级后输出风格变化,历史评测结论失效。
- 标识只做在页面上,导出与转发的内容没有标识,存在合规风险。
自检与验收清单
- 八项是否都有书面证据
- 评测集是否覆盖三类问题
- 接管条件与响应时限是否明确
- 生成内容标识是否覆盖导出场景
- 回滚方案是否演练过
常见问题
八项可以并行准备吗?
可以,但边界与授权必须先完成,否则部署形态与知识范围会反复调整。建议前两项落地后,其余六项并行推进。
小项目也要走全套吗?
可以按风险裁剪,例如内部试用可简化标识与回滚,但评测集与接管机制不建议省略,这两项决定系统能否持续使用。
评审由谁主持?
由业务负责人主持、技术负责人提供证据、合规或法务参与。涉及对外发布内容时,法务意见应在上线前取得,而不是事后追认。
