坑一与二:场景错、演示当可行

选一个演示效果最好但无人使用的场景,或用干净样例跑通就判定可行。真实数据的格式混乱、权限缺失与例外分支才是成本所在。如何验证可行性?用历史工单与真实附件做回放,比看现场演示可靠得多。

人形机器人与电脑设备同框
机器人:智能体与自动化自有素材

坑三:权限一次放开

为省事把 Agent 的账号按管理员配置,写操作也不加确认。为什么危险?一次误判就可能改动主数据或批量发出错误通知,恢复成本远高于省下的人力。应按任务给最小权限,写操作走二次确认,并把权限清单纳入变更评审。

坑四:没有评测集

没有固定的样本集与成功标准,团队只能凭感觉说效果不错,出错时也无法判断是提示词、工具还是数据的问题。上线前应固化一批历史任务,明确任务成功率与人工接管率怎么算,并保留失败样本。

坑五:没有接管机制

设计时假设 Agent 永远不会失败,没有转人工的入口与责任人。一旦卡住,业务只能绕过系统回到人工,系统随即被弃用。接管条件、响应时限与兜底流程必须在前置评审中定好,而不是上线后再补,这条边界要提前划清。

坑六:责任与运维缺位

合同只写功能与交付时间,没写数据使用范围、日志归属与故障响应。上线后也没有人为提示词与知识更新负责,三个月后准确率自然下滑。运营责任人与更新节奏要落到具体的人,并纳入季度检查,否则责任会悬空,这也是最容易被忽略的治理边界。

适用与不适用

适合谁

  • 有明确业务问题、愿意先做单场景试点的团队
  • 已经具备可调用接口与账号体系的企业
  • 愿意指定业务验收人与接管责任人的组织

不适合谁

  • 只想采购工具、不设验收与接管环节的团队
  • 期望完全无人值守、后果不可逆的业务流程

典型场景

某零售企业的运营团队想用 Agent 处理退换货审核。试点前他们翻出三个月的真实工单,发现近四成涉及缺件与拆单,于是把范围收窄到标准件退货,只授予查询与草稿权限,审核结果由客服组长确认后发送,并记录每单的接管原因用于每周复盘。

可执行步骤

  1. 从历史工单中挑出真实、可验证的任务样本集,不要只依赖演示数据
  2. 为每类任务列清所需工具与最小权限,所有写操作一律加人工确认环节
  3. 用固定样本集定义任务成功率与接管率的口径,把算法写进验收文档
  4. 为每个环节指定接管人、兜底流程与响应时限,并在上线前演练一次
  5. 把数据使用范围、日志归属与运维责任逐条写进项目确认单,并完成签字
AI 基础与概念类目结构示意图
类目示意图:AI 基础与概念通用流程示意 · 上岸智源

常见坑

  • 把演示样本当作可行性依据,上线后才发现真实附件无法解析,返工与解释成本都要翻倍。
  • 权限按管理员配置、写操作不做确认,一次误判就可能改动主数据,恢复与追责都很困难。
  • 没有固定评测集,效果好坏只能凭感觉,出了问题也说不清是提示词、工具还是数据的原因。
  • 上线后没有人为提示词与知识更新负责,准确率逐步下滑,业务绕回人工,系统事实上停用。
从太空俯瞰城市灯光的夜景
全球夜景:网络与连接自有素材

自检与验收清单

  • 场景是否已有真实样本,是否已经明确使用人
  • 权限是否按任务最小化,写操作是否都有确认
  • 是否定义了成功率与接管率的口径,并写入文档
  • 接管人与兜底流程是否已经落到具体岗位与姓名
  • 数据使用范围与运维责任是否已书面化并签字

常见问题

试点应该选多大的场景?

一个岗位、一类单据、一个系统接口即可,通常能在四到六周内跑完一轮评测。范围越大变量越多,越难判断问题出在模型、数据还是流程上,也越容易在试点中期就失去焦点。

演示效果不错,为什么上线后落差大?

演示样本通常干净、边界单一,真实数据则有格式混乱、缺字段与例外分支。应把真实历史任务做回放测试,按失败类型分类统计,再决定是否扩大范围,否则落差会在上线后集中爆发。

供应商说能全自动,怎么判断?

要求对方给出接管机制与失败处理方案,并在合同里约定异常场景的责任划分。任何声称完全无需人工的承诺,都应要求用样本回放验证一次,而不是只看演示现场的效果。

参考来源

  1. 中国信通院发布《人工智能发展报告(2024年)》 中国信息通信研究院(贵州省大数据发展管理局网站转载) · 2024
  2. ISO/IEC 42001:2023 人工智能管理体系 国际标准化组织(ISO) · 2023
  3. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024