指令要当资产管理
提示词散落在个人笔记与聊天记录里,既无法复用也无法审计。工程化的第一步是集中管理:一个任务一份模板,变量与固定指令分离,每次改动留版本记录。这样换人接手或换模型迁移时,才有一条可回退的基线,也才谈得上优化。

约束不等于校验
在提示里写明必须输出 JSON,并不保证模型真会输出合法 JSON。凡是可以程序化校验的约束,都要在调用后加解析、重试与兜底;把校验责任丢给提示,等于把错误留给下游系统,出问题时还找不到源头,排障只能靠猜。
示例决定风格
同一任务给三五个经过审核的示例,输出风格与字段口径会明显稳定。示例要覆盖正常、边界与拒答三类,只给顺利样本会让模型在异常输入上编造;示例本身也要随业务口径更新,否则会慢慢过期,效果不知不觉退回去。
评测先于优化
没有评测集的优化只是换一种感觉。常见做法是攒一百到三百条真实输入与期望输出,每次改提示跑一遍,记录通过率与错误类型。评测集要持续收进历史失败案例,否则容易出现修好一处、坏掉两处,改动越勤反而越乱。
换模型要重测
不同模型对同一段提示的响应差异很大,升级版本或更换供应商后必须重跑评测。把提示与具体模型版本绑定记录,能避免上线后才发现行为漂移;需要跨模型复用的提示,最好留一层适配与降级方案,别指望一次写成通用件。
适用与不适用
适合谁
- 客服、运营、法务等文本量大的业务部门
- 已有真实样本但输出不稳定的场景
- 希望把个人经验沉淀成团队资产的企业
不适合谁
- 指望一段提示解决知识缺失的团队
- 没有复核人、也不做任何评测的项目
典型场景
某连锁零售的客服团队把退换货回复写成模板:固定部分沉淀为指令,订单信息作为变量注入,输出限定为三段式结构。团队每周从真实会话里挑十条失败案例补进评测集,改一次模板就跑一遍,以此判断改动是否真的更好,三个月后模板从九段收敛到五段。
可执行步骤
- 选一个高频且输出可判定的文本任务,先把范围限定在单个场景,再指定验收人
- 收集真实输入与经审核的期望输出,按场景分层抽样,组成最小评测集,不少于五十条
- 把目标、约束、示例与输出格式写成模板,变量单独列出,并标注版本号便于回溯
- 每次改动都跑评测并记录通过率,保留旧版本,失败案例回补到评测集里
常见坑
- 把提示当成咒语,靠不断加形容词追求效果,最后没人说得清哪句有用,维护成本却持续上升,换人就断档。
- 只调提示不改数据与流程,输入本身缺字段,模型只能猜,输出再漂亮也无法用于实际业务,返工还是回到源头。
- 没有评测就反复改,改好一个场景坏掉另一个,团队对效果判断全靠感觉,争论无法收敛,项目停在原地。
- 把权限控制、合规判断写进提示,以为模型会遵守,实际只要换个提问方式就可能被绕过,出事时没有第二道防线。

自检与验收清单
- 是否有集中的模板库与版本记录,且每次改动可追溯
- 是否有可复跑的评测集,以及稳定可靠的样本来源
- 输出约束是否配了程序化校验、重试与兜底处理
- 失败案例是否定期回补进评测集并重跑全量用例
常见问题
提示工程和写话术有什么区别?
话术面向人,靠经验与语感;提示工程面向模型,要求明确的输入格式、输出结构与失败处理。前者改一次影响一次沟通,后者改一次要通过评测验证,影响的是整条流程,所以需要版本管理与回归测试。
提示越长效果越好吗?
不是。过长会稀释关键约束,也会增加维护与调用成本。有效做法是把稳定规则结构化、把可变信息做成变量、把示例控制在必要范围,再用评测确认删掉哪一段不影响通过率,长度本身不是目标。
提示工程需要技术团队吗?
模板撰写可以由业务骨干承担,但评测、校验与版本管理通常需要工程支持。最小配置是一名懂业务的模板负责人加一名能搭评测脚本的工程师,两者配合比单独任何一方都更稳,交接也更顺。
