维度一:变更与溯源

制度、价格、参数每月都在改,微调一次要重训与回归,跟不上节奏;RAG 只需更新索引。若每条结论还必须指到条款与页码,溯源这一项基本可以单独决定路线,不必再比其它维度。怎么判断这条边界,先看知识变更频率与溯源要求。

女讲师在台前讲解流程图
讲师讲解:流程图与要点自有素材

维度二:表达与格式

术语口径、文书结构、固定句式这类怎么说的要求,微调更擅长;RAG 靠提示词也能约束,但样本一多就不稳。打分时看输出是否需要逐字对齐模板,需要就加分给微调,不需要则别为它付费。怎么打分,拿十条真实输出与模板逐字比对。

维度三:数据与标注

RAG 需要整理好的文档、切分规则与权限;微调需要成对的输入输出样本与标注人力。两者都不是零成本,评审时应把谁出人、出多久写成具体条目,而不是笼统写业务配合,否则没人认账。为什么这块最容易超支,因为标注与复核都要业务出人。

维度四:迭代与运维

打分表里把迭代与运维各占一栏,权重合计三成左右:RAG 的运维在索引、权限与召回评测;微调在模型版本、训练环境与回归。加权后两栏接近时,优先选团队更熟悉的那条,落地才稳。怎么选,两栏接近时选团队更熟的那条,落地更稳。

适用与不适用

适合谁

  • 正在做知识问答或文档助手选型的团队
  • 已有内部文档与真实问答样本的企业
  • 需要向管理层解释技术路线取舍的项目

不适合谁

  • 内部文档尚未电子化、无人整理的团队
  • 期望一次投入永久生效、不做评测的项目

典型场景

某律所把历年意见书做成问答助手。团队按六维打分:知识变更不频繁,但必须溯源,两项把分数推向 RAG;输出要贴合文书结构,微调得一分。按权重汇总后先跑 RAG 基线,用两百条问题测引用命中与拒答,再决定是否用少量样本微调固定格式,最终由合伙人复核。

可执行步骤

  1. 逐项收集事实:变更频率、是否要出处、格式要求、可用样本与维护人
  2. 给六项分配权重并各自打分,把依据写在旁边,避免只写结论与分数
  3. 按加权得分过判定线,未过则先补数据或缩小范围,硬推只会返工再看
  4. 用同一套评测集跑 RAG 基线,记录引用命中率与拒答正确率,并留样本
  5. 把结论、回滚方式与知识更新责任写进项目确认单并由双方签字确认
选型与对比类目结构示意图
类目示意图:选型与对比通用流程示意 · 上岸智源

常见坑

  • 六项都打满分、权重也一样,最后得分没有区分度,打分表变成形式,评审还是靠印象拍板。
  • 把要不要出处当成加分项而不是硬条件,选出的方案无法满足审计要求,上线后返工重做。
  • 打分前没有确认文档是否可读、权限是否可分,评分很高但数据准备要半年,进度直接失控。
  • 只看榜单与参数选路线,忽略自家术语与格式,试用时答得流畅却不能用,团队信心受损。
天平与待比较的文件资料
选型场景:权衡与对比自有素材

自检与验收清单

  • 六项是否都有事实依据,而不是凭印象给分为佳
  • 权重是否在打分前确定,并留档备查至少一次
  • 出处要求是否作为硬条件单独判定,不参与加权
  • 文档与样本的准备人力是否落实到人、到时间
  • 评测集是否含拒答与边界题,数量不少于五十条

常见问题

打分表能直接出结论吗?

能给出方向,不能替代验证。打分的作用是把争论从偏好拉回事实;真正的结论要来自同一套评测集的对照结果,尤其是引用命中与拒答这两项,只有跑过才知道差别在哪。

RAG 和微调能一起用吗?

常见组合是以 RAG 供知识、以轻量微调固定表达与格式。要注意的是别让微调去记事实,否则知识一更新就要重训;把说什么交给检索,把怎么说交给微调,维护成本最低,也最容易交接。

没有标注数据还能微调吗?

可以从小样本起步,但评测集不能省。没有评测就无法判断微调是否损伤了原有能力;建议先积累两三百条真实问答,再考虑微调,否则容易把噪声学进去,还得花时间回滚。

参考来源

  1. 中国信通院发布《人工智能发展报告(2024年)》 中国信息通信研究院(贵州省大数据发展管理局网站转载) · 2024
  2. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  3. GB/T 41867-2022 信息技术 人工智能 术语 国家市场监督管理总局、国家标准化管理委员会 · 2022