前两问:变更与溯源
知识每月都变、且每条结论要指到原文,这两项同时成立时基本可以定 RAG。反过来,如果知识几年不动、也不需要出处,微调的门槛才值得讨论;先问这两项能省掉大量无效比较,也不至于在评审会上各说各话。怎么用这两问,先答溯源,再答变更,顺序别反。

第三问:输出贴合模板吗
文书、报告、工单有固定结构与措辞时,把模板要求写进提示词往往够用;样本一多、风格要求细到句式,才考虑微调。判断方法很直接:拿十条真实输出与模板逐字对比,看差异是结构问题还是表达问题。为什么模板问题常被误判,因为结构差异容易看成风格差异。
第四问:有没有可用样本
RAG 要文档,微调要问答对。清单里应写清谁提供、多久能到位、是否需要脱敏。样本不到位就启动训练,结果通常是把噪声学进去,还要花时间回滚;宁可等两周,也不要在数据不齐时硬上。怎么判断样本够不够,看能否覆盖三类真实问法。
第五、六问:维护与数据边界
索引要有人定期复核,模型要有人管版本。数据能否出内网、是否需要备案,直接决定可用形态;这两项不成立时,技术路线再优也要改方案或放弃,越早确认越省事,也免得做完才发现上不了线。怎么做这两项确认,让信息安全出具书面口径,而不是口头应承。
第七问:退出带走什么
合同里要写清知识库、提示词、评测集与微调权重的归属,以及更换供应商时的导出格式。很多项目在第二年想换人时才发现数据拿不走,这才是最贵的隐性成本,比当初省下的开发费高得多。为什么归属重要,因为换供应商时它是唯一的谈判筹码。
适用与不适用
适合谁
- 正在写技术方案、需要一份可打勾依据的负责人
- 要在两周内给出路线建议的架构师
- 需要和业务方对齐边界的产品经理
不适合谁
- 只想要一份结论、不愿回答具体问题的决策者
- 没有任何内部文档可供试点的团队
典型场景
某集团财务共享中心要做制度问答。按清单逐项过:制度每季度更新、答复要引条款,前两问定 RAG;输出要贴合答复模板,第三问记一分给微调;样本只有三十条,第四问标红。团队先做 RAG,用三个月积累问答对,再评估是否微调。
可执行步骤
- 逐项回答七个问题,把事实、依据与责任人写在方案附页并签字确认
- 把答案不确定的项标红,先补事实与数据再讨论路线,避免在会上空转
- 用二十到三十条真实问题跑一次 RAG 基线,记录命中与拒答情况
- 根据失败类型决定是加微调还是改提示词,写明取舍理由并留档保存
- 在合同中写明资产归属、导出格式与知识更新责任方及违约处理条款
常见坑
- 清单只填是或否、不写依据,评审时无法判断结论是怎么来的,第二轮又得从头问一遍,效率很低。
- 样本不足仍安排训练,模型把少量样本背下来,换问法即失效,团队误以为数据不够多,越训越偏。
- 没约定导出格式,换供应商时知识库与评测集拿不走,只能推倒重来,迁移成本远超预期。
- 忽略复核责任人,索引里混入过期制度,答复引用了已废止条款,业务方逐渐不再使用系统。

自检与验收清单
- 七个问题是否都有书面答案、依据与责任人姓名
- 不确定项是否标红,并指定补齐责任人与期限
- 是否用二十条以上真实问题跑过 RAG 基线
- 资产归属与导出格式是否写进合同正文附件里
- 索引复核人是否已指定,复核周期多长、谁签字
常见问题
清单要多长时间填完?
通常两三天,前提是能找到文档负责人与业务代表。若一周还填不完,说明内部的文档与权限本身没理清,这时候上任何路线都会卡在数据上,应该先做整理再谈技术选型。
两问就定了 RAG,还要看后面吗?
要看。前两问决定方向,后面几问决定可行性:没有维护人、数据不能出内网,方案就得改成私有化或缩小范围。方向对但落地条件不成立,是常见失败,也是预算超支的主因之一。
微调一定要有评测集吗?
一定要。微调改变的是模型行为,没有独立评测集就无法判断是变好还是变差,也无法在出问题时回滚。评测集建议在训练前建好,而不是训练完再补,补的时候往往已经带上了偏见。
