坑一:越多越好

把整份文档、整段历史都塞进窗口,以为信息全了就准。实际会稀释关键约束、引入互相矛盾的内容,还会推高延迟与用量。上下文的价值取决于相关度与结构,不取决于字数,多加的部分往往成为噪声,反而拖累准确率。

投影屏幕上的流程图与讲解标注
流程屏幕:结构图讲解自有素材

坑二:检索到就信

检索返回的片段可能过期、断章取义,甚至来自错误版本。直接拼进上下文,模型会把它当作事实。正确做法是保留来源、时间与置信标记,对高风险问题要求多源交叉,并允许模型回答信息不足,而不是勉强作答。

坑三:忽略顺序效应

同一批材料换个顺序,模型的引用重点会变化。把最权威、最新的证据放在显眼位置,把补充说明放后面;若把内容平铺,模型可能抓住最早出现的那段,而它恰好是旧版本,答复就跟着错,且很难被发现。

坑四:不做冲突处理

多份材料给出不同口径时,若不显式标注,模型会自行取舍,结果不可控。应在上下文里写明优先级与生效时间,或直接只保留有效版本;把冲突留给模型判断,等于把一致性交给概率,验收时也无法复现。

坑五与坑六:预算与评测

不设上下文预算,历史与工具返回会挤占知识位;不做消融评测,就不知道哪类内容真正有用。两者叠加的后果是系统越改越慢、越改越贵,却说不清准确率为何不升,最后只能整体回退,前期投入白费。

适用与不适用

适合谁

  • 已经接入检索、但答案经常答非所问的团队
  • 问答系统上线后效果逐月下滑的项目
  • 需要向业务解释错误原因的技术负责人

不适合谁

  • 尚未接入任何外部资料、也无检索的系统
  • 知识本身错误、却想靠上下文修补的项目

典型场景

某物业公司的制度问答上线三个月后,员工反映答案经常引用旧版报销标准。排查发现检索把新旧两份文件都返回,上下文按相似度排序,旧版恰好排在前。改为按生效时间过滤、并在文首标注版本与适用范围后,投诉才明显减少。

可执行步骤

  1. 抽查一批错误回答,标注是材料问题还是指令问题,分出主因,再排修复顺序
  2. 检查上下文里是否存在同主题多版本并存,列出冲突清单,并逐条定优先级
  3. 核对证据是否带来源、时间与适用范围,缺的补上,格式统一后再入库,并抽检一遍
  4. 按证据类型做删减对比,确认哪类真正有用,再决定保留还是压缩掉,形成结论
AI 基础与概念类目结构示意图
类目示意图:AI 基础与概念通用流程示意 · 上岸智源

常见坑

  • 把整份制度文档拼进上下文,模型引用作废条款,员工照做后被财务退回,信任受损,制度推行也受阻。
  • 检索片段断章取义,缺少上下文前提,模型据此给出相反结论,业务方却以为是模型能力问题,方向被带偏。
  • 多版本材料并列且无优先级,同一问题两次回答不一致,用户无法判断该信哪一次,客服只能人工兜底。
  • 不做消融就不断加材料,延迟与费用上升,准确率却没有变化,预算审议时无法解释,项目被迫搁置。
从太空俯瞰城市灯光的夜景
全球夜景:网络与连接自有素材

自检与验收清单

  • 错误回答是否做过材料与指令的归因,并留档备查
  • 上下文是否按生效时间过滤版本,并标明优先级
  • 证据是否标注来源与适用范围,便于复核与追溯
  • 是否定期做删减对比实验,并保留书面结论归档

常见问题

为什么加了资料反而更不准?

新增资料可能与既有证据冲突,或把关键条款挤出窗口。模型不会自动判断哪份更权威,只会按位置与表述取舍。加资料前应先确认版本与优先级,加完用同一批问题对比,而不是凭感觉上线,否则越改越乱。

多版本文件该怎么处理?

优先只投放有效版本,并在文首标注生效时间与适用范围;确需保留历史版本时,明确写出哪一版优先。把选择权交给模型,等于把一致性交给概率,同一问题会出现不同答案,验收也无法复现。

如何判断某类上下文有用?

用消融:保留其余条件不变,只去掉这一类材料,跑同一批问题,比较准确率与引用正确率。若指标不变,说明它只是噪声,可以压缩;若明显下降,才值得继续维护与更新,并写进运营清单。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. 中华人民共和国数据安全法 全国人民代表大会常务委员会 · 2021
  3. 中国信通院发布《人工智能发展报告(2024年)》 中国信息通信研究院(贵州省大数据发展管理局网站转载) · 2024