先看数据分级

把待处理数据分为可出内网、仅限本地、禁止留存三类,直接排除不合规形态。不少项目先选形态、后做分级,结果在采购完成后被迫返工,代价远高于前期一次确认。分级结论应由客户安全与法务出具,技术方不单方判定。

电路板元件的微距特写
电路微距:算力与硬件自有素材

再看调用曲线

日均调用稳定、峰值可预测时,专属实例或本地部署的利用率才撑得住;调用稀疏、峰谷相差较大时,按量计费的接口更合适。用近三个月真实日志画曲线,不要拿试点期的峰值当常态,否则容量会长期过剩。

再算运维能力

本地部署要有人管驱动、显存、调度与故障处置,缺少这类岗位时托管形态更稳。评估时把值班、告警、版本升级三项责任列出来,逐项明确由哪个岗位承担,否则上线后容易出现无人接手的空档,故障处置时间也会被拉长。

混合形态要统一入口

云上跑通用能力、本地跑敏感任务时,需要一层网关做路由、限流、日志与降级,否则两套调用各写一遍,切换成本很高。网关还要保留模型可替换的抽象,避免提示词与业务代码绑死在某一家模型上,日后迁移只能重写。

适用与不适用

适合谁

  • 数据分级复杂、需在多种形态间取舍的企业
  • 已能拿出历史调用数据的业务与技术团队
  • 希望保留模型可替换能力的架构负责人

不适合谁

  • 数据尚未分级就要求确定部署方案的团队
  • 没有运维人员、也不接受托管形态的项目

典型场景

某集团信息中心要为一个合同审阅场景定形态。安全部门先把合同文本定为仅限本地,团队据此排除公有云直连;再用近三个月工单量估算并发,发现日均调用不高但月末集中,最终选择本地小模型为主、云上大模型兜底的混合方案,由架构组按月复核分流比例。

可执行步骤

  1. 由业务与安全部门联合列出场景涉及的全部数据类型,逐项完成分级确认并留档备查,形成一页清单
  2. 取近三个月真实调用日志,按场景与输入长度打标签,输出日均与峰值两条曲线,标出月末与季末尖峰
  3. 按分级结论排除不合规形态,保留两到三种候选,逐条写明排除理由、前提条件与需要补充的材料
  4. 对候选形态做小流量对比测试,记录延迟、失败率与人工接管率,形成一页对比表供评审使用
  5. 在项目确认单中写明网关、评测集与迁移预案,再进入采购与实施,责任人与时间点一并写清
算力、私有化与成本类目结构示意图
类目示意图:算力、私有化与成本通用流程示意 · 上岸智源

常见坑

  • 先定形态再补合规评估,往往在采购完成后被迫更换方案,预算与工期双输,返工还会影响业务方对项目的信任
  • 用试点期峰值推算常态容量,容量买多、利用率长期偏低,单位任务成本被摊高,且难以在合同期内调整
  • 混合形态没有统一网关,两套调用逻辑各自演化,切换或扩容时改动量翻倍,测试范围也难以收敛
  • 未约定模型版本变更时的评测与回滚流程,升级后回答质量下滑却无从定位,只能整体回退到旧版本
产线上的工业机械臂特写
产线机械臂:制造场景自动化自有素材

自检与验收清单

  • 数据分级结论是否由安全与法务书面确认并附系统清单
  • 是否用近三个月真实日志而非试点峰值来估算容量与并发
  • 统一网关是否具备路由、限流、日志与降级能力,并留存审批记录
  • 模型版本变更是否有评测集对照与回滚流程,责任人是谁
  • 形态复核周期与责任人是否写入项目确认单并告知业务方

常见问题

可以先上公有云接口,以后再迁本地吗?

可以,但要在首个版本就做接口抽象与评测集,把提示词、调用参数与业务代码分离。迁移时用同一套评测集对比新旧形态,确认质量没有实质下降再逐步切流量,避免迁移最后变成一次重写。

本地部署是不是一定更安全?

不一定。本地部署只改变数据存放位置,权限混乱、日志缺失、离职账号未回收同样会出问题。安全取决于数据分级、权限、审计与删除机制,位置只是其中一项条件,不能替代流程建设。

部署形态和模型选型哪个先定?

先定数据边界,再定部署形态,最后在可用形态内比较模型。顺序颠倒会出现模型能力很好但无法落地的情况。三者应在同一份确认单里写清验收口径与责任人,避免互相等待。

参考来源

  1. 中国信通院发布《大模型落地路线图研究报告(2024年)》 中国信息通信研究院(上海证券报转载) · 2024
  2. 云计算服务安全评估办法 国家互联网信息办公室等四部门 · 2019
  3. 住房城乡建设部关于发布国家标准《建筑信息模型应用统一标准》的公告(GB/T 51212-2016) 住房和城乡建设部 · 2016