误区一:把演示当产品

演示为了好看,往往只保留顺利路径与精选数据;最小可用产品要能承受真实输入的杂乱。为什么危险:业务方按演示效果做承诺,落差最后由一线承担。改法是把演示脚本换成真实工单抽样,先看错误率再谈上线范围。

课堂全景:学员分桌而坐,讲师在前
课堂全景:讲师与学员自有素材

误区二:只测正常路径

大多数事故发生在异常输入、超时与并发上。只测正常路径,等于把风险留给上线后的客户。改法是列一份异常清单:空值、超长文本、语义歧义、系统超时、权限不足,逐条设计预期行为并纳入评测集,每次发布前跑。边界是清单随事故类型更新。

误区三:忽略权限与数据边界

演示环境常给全量权限,生产必须按岗位最小授权。边界不清的后果是安全评审卡住,或上线后被要求整改停用。改法是在设计阶段画出权限矩阵,明确谁能看哪些字段,并同步确定日志留存期限与脱敏规则。

误区四:没有接管人与排班

接管机制写在文档里,却没有具体人和时间,等于没有。为什么常见:项目组以为模型足够准,不需要人盯。改法是把接管写进值班表,明确响应时限与升级路径,首月按日统计接管量,据此判断是否需要缩范围。

误区五:把上线当结束

上线只是开始,模型、数据与业务都在变。没有月度复盘与评测集更新,系统会在几个月内悄悄退化。改法是设一个轻量月度检查:抽样错误、更新评测题、核对知识有效期,并指定负责人,把结果写进下季度计划。边界是检查要留记录,否则等于没做。

适用与不适用

适合谁

  • 即将进入上线评审的项目组与产品负责人
  • 已上线但错误反复、无人说得清原因的团队
  • 需要给演示项目做上线前自查的负责人

不适合谁

  • 只做一次性演示、不承担责任范围的项目
  • 不愿安排值守、也不准备做月度检查的组织

典型场景

一家保险公司的理赔助手演示时准确率很高,上线后却频繁给出错误的材料清单。排查发现演示只用了标准案件,真实案件大量缺页与模糊扫描。团队补了异常清单与低置信转人工,缩到三类标准案件先跑,两个月后才逐步放开其他类型。

可执行步骤

  1. 用真实工单抽样重跑一遍演示,记录错误率、错误类型与缺失数据的比例
  2. 列异常清单,逐条定义预期行为并纳入评测集,发布前必须跑过,结果由技术负责人留档
  3. 画出权限矩阵,明确字段级访问、脱敏要求与日志留存期限,由安全评审签字
  4. 设月度检查,更新评测题与知识有效期,并指定负责人跟踪,结论进季度计划
方法、团队与训练营类目结构示意图
类目示意图:方法、团队与训练营通用流程示意 · 上岸智源

常见坑

  • 用精选数据演示,业务方按理想效果排产,上线后落差由一线消化,信任很难恢复,二次推动更难
  • 异常场景没有预期行为,出错时开发与业务互相推责,问题反复出现,客户投诉后才补测试
  • 权限一次给全量,扩范围时无人敢收,审计时也说不清谁看过什么,只能整体重建权限,审批也更难通过
  • 上线后无人复盘,评测集半年未更新,退化无人察觉,直到客户投诉,恢复需要重新评测,客户已经在别处采购
俯拍桌面与协作中的团队
团队协作:电脑与文件自有素材

自检与验收清单

  • 是否用真实工单重跑过演示并记录错误类型与数据缺口
  • 异常清单是否覆盖空值、超时与权限不足,每条有预期
  • 权限矩阵是否细到字段级并可审计,扩范围是否重评
  • 是否有月度检查与明确的负责人,结论是否留档

常见问题

演示阶段就要准备这些吗

至少准备评测集与权限草案。演示阶段的目标是验证方向,不必做全部工程;但把真实样本与权限要求提前想清楚,可以发现方向本身是否可行,避免投入后才发现数据拿不到。

权限给多了会有什么后果

短期看不出问题,长期难以收回,且一旦发生数据泄露难以界定责任。生产环境按岗位最小授权,扩范围时重新评审,这是责任边界,不是流程繁琐;把矩阵写下来,后续交接也更容易。

怎么判断该缩范围还是继续调

看错误是否集中在少数场景。若某类问题反复出错且与数据缺失有关,先缩范围;若错误分散、原因不明,继续调也很难收敛,应回到评测集找出系统性缺口。

参考来源

  1. The State of AI: How organizations are rewiring to capture value McKinsey & Company · 2025
  2. 人工智能生成合成内容标识办法(国信办通字〔2025〕2号) 国家互联网信息办公室等四部门 · 2025
  3. 国务院关于深入实施“人工智能+”行动的意见(国发〔2025〕11号) 国务院 · 2025