坑一：把它当万能工具
生成式模型擅长语言任务，不擅长精确计算与实时数据。把报销核算、库存对账交给它，短期看似省事，长期会产生难以追溯的错误，且无法通过抽样说明影响范围。
坑二：把幻觉当故障
幻觉是机制性特征，不是能修完的缺陷。正确做法是提供依据、要求引用来源、设置不确定时拒答，而不是反复换模型期待它消失；换模型通常只是换了错误的样子。
坑三：提示词万能论
提示词能改善表达，补不了缺失的知识与权限。复杂任务需要检索、工具调用与流程拆分；只靠一段长提示词，在真实输入的多样性下稳定性会迅速下降。
坑四：没有评测就上线
生成内容的对错依赖上下文，主观满意度无法替代评测。没有固定评测集，就判断不了一次改动是变好还是变坏，也无法向管理层解释效果，预算续批时更没有依据。
坑五与坑六：堆数据、漏标识
知识不是越多越好，过期与冲突条目会拉低准确率，需要版本与失效管理；对外发布的生成内容未按要求标识，属于可直接导致下架的合规问题，不能靠事后补。
适用与不适用
适合谁
- 已上线但效果不稳定的团队
- 正在制定内部使用规范的企业
- 需要向业务方解释能力边界的技术负责人
不适合谁
- 只需要简单文本润色、无对外发布的场景
- 拒绝建立任何复核流程的团队
典型场景
某企业上线内部写作助手后，员工反馈有时很准有时乱写。排查发现知识库混入三年前的旧政策且没有失效标注，也没有任何评测记录。团队清理过期条目、增加来源引用与拒答规则，并建立周度抽检。
可执行步骤
- 盘点现有场景，标出是否涉及精确计算
- 为知识条目补来源、生效与失效时间
- 设置无依据时的拒答与转人工规则
- 建立固定评测集并每周抽检
- 核对对外内容标识与发布流程
常见坑
- 用满意度调查代替评测，问题被平均分掩盖，直到出现对外事故。
- 知识库只增不删，旧制度与新政策冲突，模型随机引用。
- 把长提示词当产品，业务变化后维护成本高且难以交接。
- 对外文案未标识直接发布，渠道审核不通过，影响上线节奏。
自检与验收清单
- 是否区分生成类与计算类任务
- 知识条目是否有生效与失效标注
- 是否设置拒答与转人工规则
- 是否有固定评测集与抽检机制
- 对外内容标识是否落实
常见问题
幻觉能彻底消除吗？
不能彻底消除，只能通过检索依据、引用来源、拒答策略与人工复核把影响控制在可接受范围。承诺零幻觉的说法不可采信。
数据越多效果越好吗？
不是。相关性低、过期或互相冲突的内容会干扰检索。更重要的是条目质量、时效与覆盖度，而不是总量。
内部使用也要标识吗？
内部草稿可不对外标识，但一旦进入对外发布渠道，应按《人工智能生成合成内容标识办法》要求处理，具体方式由法务确认。