角色一：应用工程
负责模型接入、检索链路、接口与前端集成，以及超时、限流与降级处理。这类能力比训练模型更常被需要，也更容易被低估，很多项目卡在集成而不是模型本身。
角色二：数据治理
负责语料来源、权限、脱敏与版本。语料质量直接决定检索与微调效果，治理缺失会让项目在合规审查时被迫中断，前期投入也随之沉没。
角色三：评测运营
维护评测集、组织抽检、归类错误。评测运营是长期岗位而非临时任务，缺少它，模型迭代就变成猜测，每次上线都无法判断是否比上一版更好。
数据条件：语料与口径
领域语料要覆盖真实表达，包括口语化与不规范写法；标注与判定口径要书面化，否则不同人给出的对并不一致，评测结果也无法复现。大语言模型能力的上限由数据供给与岗位协作方式共同决定。若缺少业务侧的数据整理人、缺少可追溯的标注口径，再强的模型也只能输出泛泛而谈的内容；反之，数
数据条件：评测集与脱敏
评测集应独立于训练数据并定期补充；脱敏要覆盖新增数据并形成固定流程。两者都是上线后仍要持续维护的资产，不能按一次性交付物处理。据边界清晰、责任人到位的中小团队，用中等规模模型也能跑出可验收的流程。因此选型前应先确认数据可得性、岗位投入与验收责任人，再决定模型规格与训练投入。
适用与不适用
适合谁
- 正在组建 AI 平台团队的企业
- 需要评估数据是否具备条件的部门
- 准备做私有化部署的 IT 负责人
不适合谁
- 希望零数据治理直接上线模型的团队
- 语料来源不明且无法确认授权的场景
典型场景
某能源企业的设备手册与检修记录分散在多个系统。项目组先做语料清单与权限梳理，再由检修专家确认术语口径，评测集由一线班组提供真实提问，外部团队负责检索与接口。
可执行步骤
- 按四类角色指定负责人与投入比例
- 梳理语料来源、权限与更新方式
- 组织专家确认术语与判定口径
- 建立独立评测集与补充节奏
- 制定覆盖新增数据的脱敏流程
常见坑
- 语料只取规范文档，缺少口语与异常表达，真实提问召回差。
- 评测集与训练语料重叠，指标虚高，上线后落差明显。
- 脱敏只做一次，后续新增数据绕过流程，风险累积。
- 没有评测运营角色，模型更新后无人验证。
自检与验收清单
- 四类角色是否有人承担
- 语料是否覆盖真实表达
- 判定口径是否书面化
- 评测集是否独立并定期补充
- 脱敏流程是否覆盖新增数据
常见问题
需要多少领域语料？
取决于任务。检索类场景重点是文档覆盖与切分质量，微调类场景需要足量高质量样本，通常先小规模验证再扩充。
标注可以外包吗？
可以外包初标，但判定口径必须由业务专家确认，抽检也应由内部完成，否则标注与业务判断会脱节。
没有专职评测人员怎么办？
可由业务骨干兼任，但要固定时间与流程，例如每周抽检固定条数并记录结论，避免临时想起来才做。
这类工作最小可运行的验收标准是什么？
选一个真实业务小样本，约定输入、输出格式与抽检比例，连续跑两周；由业务负责人按预先写明的通过条件判定，并记录失败样本的归因。样本量不必大，但必须覆盖真实异常情况，且每次失败都能追溯到数据、提示或流程的具体环节。