指令要当资产管理

提示词散落在个人笔记与聊天记录里,既无法复用也无法审计。工程化的第一步是集中管理:一个任务一份模板,变量与固定指令分离,每次改动留版本记录。这样换人接手或换模型迁移时,才有一条可回退的基线,也才谈得上优化。

人形机器人与电脑设备的概念场景
概念场景:AI 与智能体自有素材

约束不等于校验

在提示里写明必须输出 JSON,并不保证模型真会输出合法 JSON。凡是可以程序化校验的约束,都要在调用后加解析、重试与兜底;把校验责任丢给提示,等于把错误留给下游系统,出问题时还找不到源头,排障只能靠猜。

示例决定风格

同一任务给三五个经过审核的示例,输出风格与字段口径会明显稳定。示例要覆盖正常、边界与拒答三类,只给顺利样本会让模型在异常输入上编造;示例本身也要随业务口径更新,否则会慢慢过期,效果不知不觉退回去。

评测先于优化

没有评测集的优化只是换一种感觉。常见做法是攒一百到三百条真实输入与期望输出,每次改提示跑一遍,记录通过率与错误类型。评测集要持续收进历史失败案例,否则容易出现修好一处、坏掉两处,改动越勤反而越乱。

换模型要重测

不同模型对同一段提示的响应差异很大,升级版本或更换供应商后必须重跑评测。把提示与具体模型版本绑定记录,能避免上线后才发现行为漂移;需要跨模型复用的提示,最好留一层适配与降级方案,别指望一次写成通用件。

适用与不适用

适合谁

  • 客服、运营、法务等文本量大的业务部门
  • 已有真实样本但输出不稳定的场景
  • 希望把个人经验沉淀成团队资产的企业

不适合谁

  • 指望一段提示解决知识缺失的团队
  • 没有复核人、也不做任何评测的项目

典型场景

某连锁零售的客服团队把退换货回复写成模板:固定部分沉淀为指令,订单信息作为变量注入,输出限定为三段式结构。团队每周从真实会话里挑十条失败案例补进评测集,改一次模板就跑一遍,以此判断改动是否真的更好,三个月后模板从九段收敛到五段。

可执行步骤

  1. 选一个高频且输出可判定的文本任务,先把范围限定在单个场景,再指定验收人
  2. 收集真实输入与经审核的期望输出,按场景分层抽样,组成最小评测集,不少于五十条
  3. 把目标、约束、示例与输出格式写成模板,变量单独列出,并标注版本号便于回溯
  4. 每次改动都跑评测并记录通过率,保留旧版本,失败案例回补到评测集里
AI 基础与概念类目结构示意图
类目示意图:AI 基础与概念通用流程示意 · 上岸智源

常见坑

  • 把提示当成咒语,靠不断加形容词追求效果,最后没人说得清哪句有用,维护成本却持续上升,换人就断档。
  • 只调提示不改数据与流程,输入本身缺字段,模型只能猜,输出再漂亮也无法用于实际业务,返工还是回到源头。
  • 没有评测就反复改,改好一个场景坏掉另一个,团队对效果判断全靠感觉,争论无法收敛,项目停在原地。
  • 把权限控制、合规判断写进提示,以为模型会遵守,实际只要换个提问方式就可能被绕过,出事时没有第二道防线。
从太空俯瞰城市灯光的夜景
全球夜景:网络与连接自有素材

自检与验收清单

  • 是否有集中的模板库与版本记录,且每次改动可追溯
  • 是否有可复跑的评测集,以及稳定可靠的样本来源
  • 输出约束是否配了程序化校验、重试与兜底处理
  • 失败案例是否定期回补进评测集并重跑全量用例

常见问题

提示工程和写话术有什么区别?

话术面向人,靠经验与语感;提示工程面向模型,要求明确的输入格式、输出结构与失败处理。前者改一次影响一次沟通,后者改一次要通过评测验证,影响的是整条流程,所以需要版本管理与回归测试。

提示越长效果越好吗?

不是。过长会稀释关键约束,也会增加维护与调用成本。有效做法是把稳定规则结构化、把可变信息做成变量、把示例控制在必要范围,再用评测确认删掉哪一段不影响通过率,长度本身不是目标。

提示工程需要技术团队吗?

模板撰写可以由业务骨干承担,但评测、校验与版本管理通常需要工程支持。最小配置是一名懂业务的模板负责人加一名能搭评测脚本的工程师,两者配合比单独任何一方都更稳,交接也更顺。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. 中国信通院发布《人工智能发展报告(2024年)》 中国信息通信研究院(贵州省大数据发展管理局网站转载) · 2024
  3. 人工智能生成合成内容标识办法(国信办通字〔2025〕2号) 国家互联网信息办公室等四部门 · 2025