评测集与标注
评测集不是建一次就完事，业务变化后样本会过期。怎么维持：每季度补充新类型样本、淘汰失效样本，指定一名维护人；没有维护的评测集会逐渐失真，团队据此做的优化可能南辕北辙，评审时也会失去依据。
提示词与版本管理
提示词散落在各人电脑里，改一次不知道影响哪些场景，是常见状态。怎么管：把提示词、参数与模型版本一起入库，改动走评审与回归；否则一次临时修改可能让另一个场景的输出全部变形。出问题才好回滚。
失败重试与人工兜底
模型不会一次就对，重试、降级与人工接管都要人力。怎么估：按失败率与接管率折算每日工时，再乘以班次；只算调用费用，往往会低估真实投入，上线后被迫抽业务人员顶班，体验迅速下滑，也要写进排班表。
日志、审计与存储
对话与调用日志既是排障依据，也是合规要求，存储与检索都要成本。怎么设计：按敏感级别分层留存，明确保存期限与访问权限；不留日志无法追责，全量长留又会推高存储与泄露风险。两者要平衡。
适用与不适用
适合谁
- 正在做模型应用立项与预算的负责人
- 已上线一个场景、准备扩展的团队
- 需要向财务解释持续投入的部门负责人
不适合谁
- 只按调用单价做决策、不看运营投入的采购人员
- 无法安排评测维护与人工兜底人力的团队
典型场景
某零售企业上线导购助手三个月后发现账单可控，但人力吃紧。复盘发现评测集没人维护、提示词改了七版没有记录、每天约一成请求需要人工接管；团队随后指定维护人、建立提示词仓库，并按接管率重新排班，并把指标纳入月度复盘。
可执行步骤
- 逐项盘点评测集、提示词、日志与人工兜底的现状，确认各自的责任人
- 再按失败率与人工接管率，折算每日与每月需要投入的工时与班次数
- 把提示词、参数与模型版本纳入同一仓库，任何改动都走评审与回归
- 按数据敏感级别设计日志留存期限，并明确访问权限与审批流程留档
常见坑
- 评测集建完就放在一边，半年后样本全部过期，团队照旧样本优化的方向完全偏了，半年工夫白费。
- 提示词随手改、没有版本记录，出问题无法回滚，只能凭记忆恢复，最后没人敢动，问题反复出现。
- 低估人工接管量，业务人员被迫长期兼职，抱怨集中在体验上，使用率逐渐下滑，士气也受影响。
- 日志全量长期保存又没有权限管理，存储成本上升，泄露风险随之变大，审计时还查不清。
自检与验收清单
- 评测集是否有明确的维护人，并按节奏更新样本
- 提示词与参数是否已经入库，出问题时可以回滚
- 失败率与人工接管率是否已经折算成具体的工时
- 日志的留存期限与访问权限是否明确到岗到人
- 是否指定了模型、提示词与评测集各自的责任人
常见问题
这些投入能不能省？
可以压缩，不能省掉。评测集可以先小后大，日志可以分层留存，但责任人必须有；没有评测与日志，问题出现时只能靠猜，返工成本通常远高于前期投入，这是最低要求，别指望一次做完。
人工接管比例多少算正常？
取决于场景风险，没有统一标准。对外服务、涉及资金或合规的场景要留足接管人力；内部辅助工具可以低一些。关键是持续监测接管率变化，把它当成运营指标而不是一次性配置。
日志要存多久？
按合规要求与排障需要定，一般不少于三个月，涉及个人信息或交易的按制度延长。存储前先做脱敏与分级，明确谁可以查、查什么；无期限全量保存既增加成本，也扩大泄露面。