第一步：场景筛选
按输出可复核、错误可发现、使用频次高三个条件筛选。第一版不要选对外承诺类场景，先在没有法律后果的内部环节跑通流程与评测，再向客户侧延伸。
第二步：知识与约束
整理事实底稿、术语表与禁用表述，明确哪些内容必须引用来源。约束写得越具体，后期返工越少；含糊的专业一点、正式一点这类要求无法验收，也无法沉淀。
第三步：原型与评测
先做最小可用原型，再用真实输入跑评测集，把结果分成成功、需修改与不可用三类。评测集要固定，才能比较提示词、检索与模型的变化，否则每次都在重新开始。
第四步：上线与运营
接入业务入口，设置反馈入口与周度抽检，把高频错误补进约束或知识。运营周期通常比开发阶段更长，需要有人稳定投入，否则效果会在两个月内回落。
验收标准怎么写
建议用三项：评测集可用率、真实业务接管率、引用可追溯比例。三项都要有基线与目标值，并由业务负责人确认，不以主观满意度作为唯一依据，也不承诺具体比例。
适用与不适用
适合谁
- 准备启动生成式 AI 项目的团队
- 需要给试点设定停止条件的负责人
- 希望把试点经验复制到其他部门的集团
不适合谁
- 要求一次上线覆盖全部内容生产的项目
- 没有真实样本与知识底稿的场景
典型场景
某保险经纪公司的运营团队要处理大量产品条款咨询。项目组先选内部答疑场景，整理条款与监管口径作为知识底稿，用两百条真实问题建评测集，试点三周后归类不可用回答，再决定是否扩展到客户侧。
可执行步骤
- 按三个条件筛出首个场景并写清边界
- 整理事实底稿、术语表与禁用表述
- 用真实问题建立固定评测集
- 原型迭代并记录三类评测结果
- 上线后设反馈入口与周度抽检
常见坑
- 第一版就做对外承诺类场景，一次错误回答带来客诉与合规风险。
- 评测集来自团队自己编的问题，覆盖不到真实表达方式，指标虚高。
- 约束写成形容词而没有可判定规则，输出风格反复变化。
- 上线后无人抽检，错误模式演化，三个月后可信度明显下降。
自检与验收清单
- 首个场景是否低风险且高频
- 是否有事实底稿与禁用表述
- 评测集是否来自真实问题
- 三项验收指标是否有基线
- 上线后是否有抽检负责人
常见问题
需要多少条评测问题？
起步阶段几十到一两百条即可，关键是覆盖高频与高风险类型。随着场景扩展持续补充，比一次做大更有用。
用开源模型还是商用接口？
看数据敏感度与稳定性要求。数据不能出内网时优先考虑私有化部署，对外服务则要评估供应商的合规与服务水平。
效果不好该换模型还是改流程？
先看评测结果分布：知识缺失就补知识与检索，表达问题再调提示词，最后才考虑换模型，频繁更换会导致无法归因。