坑一:迷信咒语

把效果不好归因于措辞不够玄,于是不断叠加形容词与感叹句。这类改动无法解释、无法复现,换个人写就失效;正确做法是把任务拆细,用示例与输出结构约束,再用评测判断改动是否有效,而不是比谁的词更重。

人形机器人与电脑设备同框
机器人:智能体与自动化自有素材

坑二:只改提示

输入缺字段、知识过期、流程本身有断点,这些问题不会因为提示写得好而消失。先检查输入是否完整、知识是否有出处,再谈提示优化;否则只是在错误的前提上做表面修饰,越改越难定位,最后连问题出在哪都说不清。

坑三:无评测迭代

没有评测集时,改提示只能靠几个人试几条,结论随样本变化。常见后果是修好一个场景、弄坏另一个,团队陷入反复争论。至少要有几十条覆盖正常、边界与拒答的样本,改动前后各跑一遍,才谈得上迭代。

坑四:用提示做管控

把不得输出敏感信息、不得承诺价格写进提示,只是软约束。只要换一种问法就可能被绕过,真正需要的是输出侧的关键词与规则校验、权限隔离与人工审批,提示只能作为第一道防线,而不是最后一道闸门。

坑五与坑六:长度与漂移

提示越堆越长,关键约束被稀释,模型开始顾此失彼;模型升级后行为漂移,旧提示悄悄失效却无人察觉。控制长度、按任务拆分模板、把模型版本与提示绑定记录并定期重跑评测,是这两类问题的共同解法,也最省心。

适用与不适用

适合谁

  • 已经上线提示模板、效果不稳定的团队
  • 正准备把个人提示沉淀为团队资产的部门
  • 需要向管理层解释投入产出的一线负责人

不适合谁

  • 还没有任何真实样本与使用记录的团队
  • 希望用提示替代权限与审批设计的项目

典型场景

某保险公司的理赔说明模板上线两个月后投诉增多。复盘发现模板被陆续加了七段补充说明,关键字段约束被挤到最后;同时模型版本升级过一次,团队没有重跑评测。删减到三段并锁定版本、补上输出校验后,问题才逐步收敛。

可执行步骤

  1. 把现有提示按任务拆开,统计长度与改动次数,标出无人维护的模板与版本
  2. 对照六个坑逐条标记可疑项,按影响面排出修复顺序,先修正在上线使用的那些
  3. 补齐最小评测集,改动前后各跑一遍,把差异记录到同一张表里便于横向比较
  4. 把软约束改为输出校验与审批,提示只做提示,责任落到具体岗位与流程
AI 基础与概念类目结构示意图
类目示意图:AI 基础与概念通用流程示意 · 上岸智源

常见坑

  • 迷信咒语式改写,效果不可解释也不可复现,交接时无人能接手维护,最后只能整段推倒重写,时间全白费。
  • 只改提示不动数据,输入缺字段时模型只能猜,输出看似完整却不可用,责任却落在使用部门,返工还得从源头开始。
  • 把合规要求只写在提示里,被绕过时才发现没有输出侧拦截,追责也困难,整改还得把整条流程重做一遍。
  • 提示无限加长,关键约束被稀释,模型开始顾此失彼,维护成本持续上升,效果却不再提升,团队也逐渐失去耐心。
投影屏幕上的流程图与讲解标注
流程屏幕:结构图讲解自有素材

自检与验收清单

  • 模板是否按任务拆分并控制长度,每次改动都有记录
  • 是否有可复跑的评测集,并纳入历史失败样本与边界
  • 敏感与合规要求是否有输出侧校验与拦截记录
  • 模型升级后是否重跑过评测,并留下可比的对比结论

常见问题

为什么同样的提示别人用效果好?

多半是输入数据、模型版本或用例分布不同。提示只是链路的一环,脱离数据与模型谈效果没有意义。要比较就在同一批样本与同一模型版本上跑,否则结论不可迁移,也容易误判投入方向。

提示里写不许编造有用吗?

有用但不充分。它降低了编造倾向,却无法杜绝,尤其在知识缺失时。更稳的做法是提供可引用的知识片段、要求给出出处,并在输出侧做事实核查与人工复核,三层叠加才可靠,单靠一句禁止收效有限。

多久需要重测一次?

模型或业务口径一变就应重测,此外建议按固定周期做一次回归。金融、医疗等口径变化快的行业周期更短。重测不必全量,抽取核心场景与历史失败案例即可发现大部分漂移,成本可控。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. 人工智能生成合成内容标识办法(国信办通字〔2025〕2号) 国家互联网信息办公室等四部门 · 2025
  3. 中国信通院发布《人工智能发展报告(2024年)》 中国信息通信研究院(贵州省大数据发展管理局网站转载) · 2024