维度一:变更与溯源
制度、价格、参数每月都在改,微调一次要重训与回归,跟不上节奏;RAG 只需更新索引。若每条结论还必须指到条款与页码,溯源这一项基本可以单独决定路线,不必再比其它维度。怎么判断这条边界,先看知识变更频率与溯源要求。

维度二:表达与格式
术语口径、文书结构、固定句式这类怎么说的要求,微调更擅长;RAG 靠提示词也能约束,但样本一多就不稳。打分时看输出是否需要逐字对齐模板,需要就加分给微调,不需要则别为它付费。怎么打分,拿十条真实输出与模板逐字比对。
维度三:数据与标注
RAG 需要整理好的文档、切分规则与权限;微调需要成对的输入输出样本与标注人力。两者都不是零成本,评审时应把谁出人、出多久写成具体条目,而不是笼统写业务配合,否则没人认账。为什么这块最容易超支,因为标注与复核都要业务出人。
维度四:迭代与运维
打分表里把迭代与运维各占一栏,权重合计三成左右:RAG 的运维在索引、权限与召回评测;微调在模型版本、训练环境与回归。加权后两栏接近时,优先选团队更熟悉的那条,落地才稳。怎么选,两栏接近时选团队更熟的那条,落地更稳。
适用与不适用
适合谁
- 正在做知识问答或文档助手选型的团队
- 已有内部文档与真实问答样本的企业
- 需要向管理层解释技术路线取舍的项目
不适合谁
- 内部文档尚未电子化、无人整理的团队
- 期望一次投入永久生效、不做评测的项目
典型场景
某律所把历年意见书做成问答助手。团队按六维打分:知识变更不频繁,但必须溯源,两项把分数推向 RAG;输出要贴合文书结构,微调得一分。按权重汇总后先跑 RAG 基线,用两百条问题测引用命中与拒答,再决定是否用少量样本微调固定格式,最终由合伙人复核。
可执行步骤
- 逐项收集事实:变更频率、是否要出处、格式要求、可用样本与维护人
- 给六项分配权重并各自打分,把依据写在旁边,避免只写结论与分数
- 按加权得分过判定线,未过则先补数据或缩小范围,硬推只会返工再看
- 用同一套评测集跑 RAG 基线,记录引用命中率与拒答正确率,并留样本
- 把结论、回滚方式与知识更新责任写进项目确认单并由双方签字确认
常见坑
- 六项都打满分、权重也一样,最后得分没有区分度,打分表变成形式,评审还是靠印象拍板。
- 把要不要出处当成加分项而不是硬条件,选出的方案无法满足审计要求,上线后返工重做。
- 打分前没有确认文档是否可读、权限是否可分,评分很高但数据准备要半年,进度直接失控。
- 只看榜单与参数选路线,忽略自家术语与格式,试用时答得流畅却不能用,团队信心受损。

自检与验收清单
- 六项是否都有事实依据,而不是凭印象给分为佳
- 权重是否在打分前确定,并留档备查至少一次
- 出处要求是否作为硬条件单独判定,不参与加权
- 文档与样本的准备人力是否落实到人、到时间
- 评测集是否含拒答与边界题,数量不少于五十条
常见问题
打分表能直接出结论吗?
能给出方向,不能替代验证。打分的作用是把争论从偏好拉回事实;真正的结论要来自同一套评测集的对照结果,尤其是引用命中与拒答这两项,只有跑过才知道差别在哪。
RAG 和微调能一起用吗?
常见组合是以 RAG 供知识、以轻量微调固定表达与格式。要注意的是别让微调去记事实,否则知识一更新就要重训;把说什么交给检索,把怎么说交给微调,维护成本最低,也最容易交接。
没有标注数据还能微调吗?
可以从小样本起步,但评测集不能省。没有评测就无法判断微调是否损伤了原有能力;建议先积累两三百条真实问答,再考虑微调,否则容易把噪声学进去,还得花时间回滚。
