误读一：模型即专家
模型能检索、归纳与生成，但不承担判断责任，也无法替代现场经验与执业判断。为什么：行业结论往往依赖具体条件与责任主体。怎么做：把模型定位为助手，输出附依据，关键结论由具备资格的人员确认。
误读二：有语料就能训
原始语料要经过清洗、去重、结构化与授权确认才能使用。为什么容易低估：脏数据会让模型学到错误表述。怎么做：先做小规模语料治理试点，评估可用比例，再决定训练、微调还是检索方案，脏数据的代价会被放大。
误读三：提示词即适配
提示词能改善表达与格式，但补不了缺失的行业知识。怎么做：把行业知识放进可检索的知识库，提示词只负责约束输出格式与引用要求，两者分工明确，避免把大量规则硬编码在提示里，否则维护成本会失控。
误读四：可以跳过评测
没有评测就无法判断上线是否安全，也无法在模型升级后比较差异。怎么做：建最小评测集并版本化，每次调整后复跑；边界：验收结论由客户方业务负责人签认，实施方提供测试方法说明，否则无法证明是否变好。
误读五：一次训练长期有效
规范会修订、工艺会调整、口径会变化，知识需要持续更新。怎么做：约定更新触发条件与责任人，定期抽检过期条目，把维护工时列入年度计划，否则回答质量会在半年内明显下滑，第二年就要返工，维护工时须列入预算。
适用与不适用
适合谁
- 正在评估行业模型真实价值与边界的管理者
- 被各种宣传说法困扰、需要独立判断的选型团队
- 需要向业务解释能力边界的项目负责人
不适合谁
- 希望了解具体产品功能清单的采购比价场景
- 要求模型独立出具专业结论的使用方式
典型场景
某企业采购了一套号称行业专家级的模型服务，业务试用后发现对地方规范的理解经常出错。复盘确认三点：语料未做地方版本治理、提示词承担了本应由知识库解决的检索、上线前没有评测。调整后改为知识库加检索，评测通过再逐步扩大场景。
可执行步骤
- 明确模型定位为助手，逐条列出必须人工确认、签认与留痕的环节。
- 抽样评估语料可用比例，先完成清洗、去重与授权确认再使用，形成书面报告。
- 把行业知识放进可检索知识库，提示词只约束格式与引用要求，避免硬编码。
- 建立最小评测集并做版本管理，每次调整后复跑同一组题，保留版本记录。
- 约定知识更新触发条件、责任人与抽检周期，并写入年度维护计划。
常见坑
- 把模型输出直接作为专业结论使用，出错后责任难以界定，客户关系受损，修复周期长，信任恢复慢。
- 语料未清洗就训练，模型学到过期或错误表述，纠错成本很高，还难以回溯来源，后续治理也很麻烦。
- 用提示词硬编码大量知识，维护困难且无法追溯来源，制度一变就要重写，风险集中在一处。
- 上线前不做评测，问题在业务使用中才暴露，影响内部信任，也拖慢推广，预算随之被质疑。
自检与验收清单
- 是否逐条列出必须人工确认、签认与留痕的环节
- 语料是否抽样评估并完成清洗、去重与授权确认
- 行业知识是否放入可检索、可追溯且权限可控的知识库
- 评测集是否版本化，能复跑并对比结果与差异
- 知识更新是否有触发条件、责任人与固定周期
常见问题
行业模型会不会取代行业专家？
短期内不会。模型擅长检索、归纳与初稿生成，专家负责判断、例外处理与责任承担。可行的是把重复性查找与整理工作交给模型，让专家把时间放在判断上。
自训和用通用模型加知识库，怎么选？
先看任务：知识检索类用通用模型加知识库即可；术语固定、格式严格或需要稳定风格时再考虑微调；只有在语料规模大且通用模型明显不足时才评估自训。每一步都用评测集验证。
怎么避免把模型输出当结论？
在流程上设强制环节：输出必须附出处、必须有人签认、超范围问题必须拒答。把这三条写进操作规范，并在系统里留痕，比口头提醒更有效，也便于审计，责任也清楚。