坑一:迷信咒语
把效果不好归因于措辞不够玄,于是不断叠加形容词与感叹句。这类改动无法解释、无法复现,换个人写就失效;正确做法是把任务拆细,用示例与输出结构约束,再用评测判断改动是否有效,而不是比谁的词更重。

坑二:只改提示
输入缺字段、知识过期、流程本身有断点,这些问题不会因为提示写得好而消失。先检查输入是否完整、知识是否有出处,再谈提示优化;否则只是在错误的前提上做表面修饰,越改越难定位,最后连问题出在哪都说不清。
坑三:无评测迭代
没有评测集时,改提示只能靠几个人试几条,结论随样本变化。常见后果是修好一个场景、弄坏另一个,团队陷入反复争论。至少要有几十条覆盖正常、边界与拒答的样本,改动前后各跑一遍,才谈得上迭代。
坑四:用提示做管控
把不得输出敏感信息、不得承诺价格写进提示,只是软约束。只要换一种问法就可能被绕过,真正需要的是输出侧的关键词与规则校验、权限隔离与人工审批,提示只能作为第一道防线,而不是最后一道闸门。
坑五与坑六:长度与漂移
提示越堆越长,关键约束被稀释,模型开始顾此失彼;模型升级后行为漂移,旧提示悄悄失效却无人察觉。控制长度、按任务拆分模板、把模型版本与提示绑定记录并定期重跑评测,是这两类问题的共同解法,也最省心。
适用与不适用
适合谁
- 已经上线提示模板、效果不稳定的团队
- 正准备把个人提示沉淀为团队资产的部门
- 需要向管理层解释投入产出的一线负责人
不适合谁
- 还没有任何真实样本与使用记录的团队
- 希望用提示替代权限与审批设计的项目
典型场景
某保险公司的理赔说明模板上线两个月后投诉增多。复盘发现模板被陆续加了七段补充说明,关键字段约束被挤到最后;同时模型版本升级过一次,团队没有重跑评测。删减到三段并锁定版本、补上输出校验后,问题才逐步收敛。
可执行步骤
- 把现有提示按任务拆开,统计长度与改动次数,标出无人维护的模板与版本
- 对照六个坑逐条标记可疑项,按影响面排出修复顺序,先修正在上线使用的那些
- 补齐最小评测集,改动前后各跑一遍,把差异记录到同一张表里便于横向比较
- 把软约束改为输出校验与审批,提示只做提示,责任落到具体岗位与流程
常见坑
- 迷信咒语式改写,效果不可解释也不可复现,交接时无人能接手维护,最后只能整段推倒重写,时间全白费。
- 只改提示不动数据,输入缺字段时模型只能猜,输出看似完整却不可用,责任却落在使用部门,返工还得从源头开始。
- 把合规要求只写在提示里,被绕过时才发现没有输出侧拦截,追责也困难,整改还得把整条流程重做一遍。
- 提示无限加长,关键约束被稀释,模型开始顾此失彼,维护成本持续上升,效果却不再提升,团队也逐渐失去耐心。

自检与验收清单
- 模板是否按任务拆分并控制长度,每次改动都有记录
- 是否有可复跑的评测集,并纳入历史失败样本与边界
- 敏感与合规要求是否有输出侧校验与拦截记录
- 模型升级后是否重跑过评测,并留下可比的对比结论
常见问题
为什么同样的提示别人用效果好?
多半是输入数据、模型版本或用例分布不同。提示只是链路的一环,脱离数据与模型谈效果没有意义。要比较就在同一批样本与同一模型版本上跑,否则结论不可迁移,也容易误判投入方向。
提示里写不许编造有用吗?
有用但不充分。它降低了编造倾向,却无法杜绝,尤其在知识缺失时。更稳的做法是提供可引用的知识片段、要求给出出处,并在输出侧做事实核查与人工复核,三层叠加才可靠,单靠一句禁止收效有限。
多久需要重测一次?
模型或业务口径一变就应重测,此外建议按固定周期做一次回归。金融、医疗等口径变化快的行业周期更短。重测不必全量,抽取核心场景与历史失败案例即可发现大部分漂移,成本可控。
