1. DataOps与持续交付导论
在传统数据平台中，数据管道往往由数据工程师手工编写脚本、手动调度、人工验证，一旦上游表结构变化或下游需求调整，整条链路就可能断裂。DataOps 正是为解决这类问题而提出的一套方法论：它借鉴了软件工程中 DevOps 的核心理念，把数据管道的构建、测试、部署、监控和治理纳入一条可重复、可自动化的工程流水线中。理解 DataOps，需要先抓住三个关键词——协作、自动化、可观测。
DataOps 的核心原则
DataOps 不是某一款工具，而是一组原则与实践的集合。它的核心原则可以归纳为以下几点：
- 以数据产品为中心：把数据集、数据管道、数据服务都视为“产品”，有明确的负责人、SLA 和消费方，而不是一次性交付的脚本。
- 持续集成与持续交付：数据管道的代码、SQL、配置、基础设施定义都纳入版本控制，每次变更都经过自动化测试后再部署。
- 自动化测试与数据质量校验：不仅测试代码逻辑，还要校验数据本身，例如行数、空值率、主键唯一性、枚举值范围等。
- 端到端可观测性：管道的运行状态、数据血缘、延迟、失败原因都要能被快速定位。
- 快速反馈与持续改进：通过监控指标和告警，让问题在影响下游之前被发现。
这些原则共同指向一个目标：让数据管道的变更像软件发布一样可控、可回滚、可度量。
持续交付与持续发布在数据管道中的意义
在软件领域，持续交付（Continuous Delivery）指代码始终处于可发布状态，持续发布（Continuous Deployment）则指每次通过测试的变更自动上线。放到数据管道中，这两个概念需要做一点适配。
数据管道的“交付物”不只是代码，还包括：SQL 转换逻辑、调度配置（如 Airflow DAG、Step Functions 状态机）、基础设施定义（如 CloudFormation/Terraform 模板）、数据质量规则、以及数据本身的结构与语义。因此，数据管道的持续交付意味着：任何一次管道变更，都能在隔离环境中被自动构建、测试、验证，并具备一键部署到生产的能力。
而持续发布在数据场景中要更谨慎。因为数据管道往往有“状态”——历史数据、下游报表、机器学习特征都依赖它。一次错误的发布可能污染数据湖，且难以简单回滚。因此实践中常见两种策略：
- 蓝绿发布：新版本管道写入新的目标路径或新表，验证通过后再切换下游读取。
- 金丝雀发布：先让新管道处理一小部分分区或一小部分数据源，对比结果无误后再全量切换。
下面这张图展示了 DataOps 中一条典型数据管道从代码提交到生产发布的持续交付链路，以及各阶段对应的 AWS 服务角色。
AWS 服务在 DataOps 中的角色定位
AWS 并没有一个叫“DataOps”的单一服务，而是提供了一组可以组合成 DataOps 流水线的托管服务。理解它们的角色分工，比记住服务名称更重要。
| DataOps 能力 | 典型 AWS 服务 | 角色定位 |
|---|---|---|
| 版本控制与协作 | CodeCommit、GitHub | 存放 SQL、DAG、基础设施模板，支持分支与评审 |
| 持续集成 | CodeBuild | 执行单元测试、SQL 语法检查、数据质量规则 |
| 持续部署 | CodePipeline、CodeDeploy | 编排部署流程，支持审批、蓝绿与回滚 |
| 数据集成与转换 | Glue、EMR、Lambda | 执行 ETL/ELT 作业，处理批流数据 |
| 工作流调度 | MWAA、Step Functions | 编排任务依赖、重试、超时与告警 |
| 存储与查询 | S3、Redshift、Athena | 承载数据湖、数仓与交互式查询 |
| 监控与治理 | CloudWatch、CloudTrail、Lake Formation | 指标告警、审计追踪、权限与血缘管理 |
一个可落地的最小示例
假设我们有一条每天从 S3 原始区读取订单数据、经 Glue 转换后写入 Redshift 的管道。在 DataOps 实践中，它的持续交付流程可以这样设计：
- 数据工程师在 CodeCommit 中提交新的 Glue 脚本和对应的数据质量规则文件。
- CodeBuild 触发构建，运行 PySpark 单元测试，并用示例数据校验规则，例如“订单金额不得为负”“订单 ID 唯一”。
- 测试通过后，CodePipeline 将新脚本部署到预发环境，先对最近一个分区的数据做金丝雀运行。
- 对比预发与生产结果的行数、金额汇总，若偏差在阈值内，则自动切换生产调度。
- CloudWatch 持续采集 Glue 作业的失败率与运行时长，异常时通过 SNS 通知值班人员，并触发回滚到上一版本。
总结来说，DataOps 的核心不是引入更多工具，而是建立一套让数据管道变更可控、可测、可回滚的工程习惯。持续交付与持续发布为数据管道提供了从代码提交到生产运行的自动化通道，而 AWS 的 Code 系列、Glue、MWAA、CloudWatch 等服务则分别承担了版本控制、构建、部署、调度和监控的职责。理解这些角色的分工与衔接，是后续深入实践 DataOps 的基础。