角色说明书要能落地
每个角色写清职责边界、输入输出格式、可用工具与禁止动作。说明书不是组织架构图，而是能被编排配置直接引用的参数表。写不出禁止动作的角色，通常会在边界场景里做出越权调用，且难以追责。
协作协议决定维护成本
消息格式、交付字段、失败重试与超时处理要固定下来并做版本化。协议一旦靠自然语言约定，改一个字段就要通读全部提示词。把协议做成结构化契约，后续替换模型或角色时才不用重写整条链路。
验收看基线与冲突
用同一批样本分别跑基线与多角色方案，比成功率、平均轮次与人工接管率。再构造几组角色意见冲突的输入，看升级路径是否按预期触发。只演示顺利路径，无法证明系统在分歧时的行为是可控的。
失败案例库是资产
把每次异常输入、死循环与误判整理成案例，标注触发条件与处理方式，作为回归测试的一部分。没有案例库，同类问题会在换模型或改提示后重复出现，团队每次都要从头排查，效率很低。
适用与不适用
适合谁
- 准备采购或验收多智能体方案的甲方
- 已上线多角色流程、需要回归测试的团队
不适合谁
- 只做单轮问答、没有协作需求的场景
- 既没有基线、也不打算做对比的项目
典型场景
某集团验收多角色审单方案时，先用两百条历史单据跑基线，再用同一批样本跑多角色版本，记录成功率与平均轮次。随后构造五组冲突输入，只有三组按预期升级到人工。整改后补齐仲裁规则，第二次验收才通过。
可执行步骤
- 按六类交付物逐项列清单，指定签收人与统一的存放位置
- 用同一批样本跑基线与多角色版本，并记录成功率与轮次
- 构造若干组冲突输入，验证升级路径是否按既定规则触发
- 把异常案例整理成回归集，纳入验收清单，也纳入后续迭代
- 核对共享权限与日志留痕，确保每次任务都能按角色追溯
常见坑
- 只验收顺利路径的演示，冲突与超时场景未测，上线后遇到分歧就卡住，只能人工兜底。
- 协作协议写在提示词里而没有结构化契约，换模型后行为全变，回归测试无从下手。
- 失败案例不做沉淀，同一类死循环在每次迭代后重复出现，排查时间不断累积。
自检与验收清单
- 角色说明书是否能被编排配置直接引用
- 协作协议是否结构化并做了版本管理
- 是否用同一批基线样本做对比验收
- 冲突、超时与越界场景是否都已覆盖
常见问题
验收要多少样本？
不必追求大样本，但要覆盖高频、边界与应拒答三类，每类都有明确判定标准。样本应由业务方参与挑选，避免实施方只选有利案例。样本一旦确定就固定，后续迭代用同一批对比。
基线一定要做吗？
建议做，否则无法判断多角色是否值得。基线可以是单智能体，也可以是现行人工流程，关键是同一批样本、同一套判定标准。没有基线，验收结论只能靠感觉，也无法向管理层解释投入。
多角色方案能自己维护吗？
取决于协议与配置是否结构化。角色、字段与升级规则都以配置表达时，业务方改规则不必动代码；反之全部写在提示词里，每次调整都要原厂支持，长期成本会越来越高。