第一步:盘点数据源

列出系统名称、负责人、数据量级、更新频率与接口方式,库表、文件与接口都要登记在册。为什么先盘点:多数接入延期不是技术难,而是找不到系统负责人,或不知道数据在哪张表、由谁维护。盘点表要指定维护人并随变更更新,否则三个月后又会失真。

工程师在机房监控屏前查看数据
工程师:机房值守与核对自有素材

第二步:分级与授权

按敏感程度给字段分级,明确哪些可进模型、哪些需脱敏、哪些禁止出库,并取得数据负责人书面授权。边界:涉及个人信息与客户商业秘密的字段,接入范围与用途须由客户方确认,我方不自行扩大,也不把一次授权当成永久许可。

第三步:字段映射

把源字段映射到目标结构,写明单位、编码、空值含义与业务口径差异。怎么做:映射表要由业务方逐项确认,尤其状态码与金额单位,这两类错误最难在上线后察觉,往往要等业务投诉才暴露,返工范围也最大。

第四步:抽样验真

抽取样本逐条比对源系统与接入后的值,检查丢失、截断、乱码与时区偏差。为什么不能只看总数:行数对得上不代表内容对,字符集与时间字段是最常见的隐性错误,总量校验发现不了,抽样才能看出来。

第五步:增量与对账

设计增量拉取方式,时间戳、变更日志或全量比对都要写明适用条件,并配套日常对账任务与差异告警。怎么做:先跑一段并行期,用对账结果证明同步稳定,再停掉人工核对,不要提前撤掉唯一的兜底手段。

适用与不适用

适合谁

  • 准备把业务系统数据接入 AI 应用的企业
  • 已有数据中台、需要打通新数据源的项目
  • 对数据准确性有明确要求的行业客户

不适合谁

  • 只用公开资料、不涉及内部系统的场景
  • 尚未确定数据用途与授权范围的项目

典型场景

某连锁药店的智能补货助手需要接入门店库存与总部采购数据。数据岗先盘点两套系统的负责人与更新频率,业务方确认字段口径,抽样比对发现库存单位有盒与箱两种写法;统一编码后并行跑了两周对账,才切换到自动补货建议。

可执行步骤

  1. 逐个列出系统名称、负责人、数据量级、更新频率与接口方式并登记成册。
  2. 按敏感程度给字段分级,并逐项取得数据负责人的书面授权与用途说明。
  3. 与业务方逐字段确认映射关系、单位、空值含义以及状态码的业务口径。
  4. 抽样比对源系统与接入后的值,逐项检查丢失、截断、乱码与时区偏差。
  5. 设计增量拉取方式,并配置每日对账任务、差异阈值与固定的告警接收人。
  6. 并行运行并与人工核对一段时间,确认两者完全一致后再停用人工比对。
部署、实施与验收类目结构示意图
类目示意图:部署、实施与验收通用流程示意 · 上岸智源

常见坑

  • 拿到导出文件就当数据源,表格里的手工修改无法回流,数据越用越偏,最后谁也不敢信这份数据。
  • 字段单位不统一,库存与金额类计算整体失真,且往往在上线后很久才被察觉,返工范围很大。
  • 未做字段分级,敏感信息随测试数据流入开发环境,形成合规隐患,清理起来也非常麻烦。
  • 只做一次性全量导入,没有增量与对账,数据在数周内即告过期,业务逐渐弃用这套系统。
仓库货架与物流通道
仓库货架:供应链与履约场景自有素材

自检与验收清单

  • 数据源清单是否写明负责人、更新频率与接口方式并登记成册
  • 字段分级与数据使用授权是否书面化、可追溯到签字人
  • 字段映射表是否由业务方逐项确认、签认并留档
  • 抽样验真是否覆盖字符集、单位与时区等易错字段
  • 是否配置日常对账任务、差异阈值与固定告警接收人

常见问题

接入一定要走接口吗?

不一定。接口最稳定,文件与库表直连也可行,但要评估更新频率与耦合风险。文件方式需要约定命名、落地时间与失败重试,否则一旦漏传,下游会在无感知中使用旧数据,问题很难被及时发现。

历史数据要不要全部接入?

按用途取舍。检索类场景通常需要较长时间跨度以提升召回,问答类场景可先接近期数据。全量接入的成本与合规审查都更高,建议分期并明确每期用途,避免一次性搬全库再回头治理。

客户数据会不会被用于训练?

默认不用于训练,这一点应在合同与数据处理说明中写清。接入的数据仅用于客户自有系统的检索与推理,项目结束按约定导出与删除,客户可要求提供处理记录与销毁确认。

参考来源

  1. 网络数据安全管理条例(国务院令第790号) 国务院 · 2024
  2. 数据出境安全评估办法 国家互联网信息办公室 · 2022
  3. 云计算服务安全评估办法 国家互联网信息办公室等四部门 · 2019