4. CI/CD核心概念
核心原理：三个持续，三种自动化边界
在AI模型集成流水线中，CI/CD三个概念经常被混用，但它们实际上定义了不同深度的自动化边界。理解它们的关键，不在于记住缩写，而在于回答一个问题：代码或模型每次变更后，系统自动做到哪一步为止？
- 持续集成（CI，Continuous Integration）：每次代码提交或模型版本更新后，自动执行构建、单元测试、静态检查、数据校验。它的终点是“产出可用的制品”，但不会自动部署到任何环境。对于AI项目，CI阶段通常还包括模型训练冒烟测试、数据集schema校验和特征一致性检查。
- 持续交付（CD，Continuous Delivery）：在CI的基础上，自动将制品部署到类生产环境（如Staging），并执行集成测试、模型评估、A/B测试准备。它的终点是“制品随时可以手动一键发布到生产”，但生产部署仍需人工审批。
- 持续部署（Continuous Deployment）：是CD的完全自动化延伸。当所有测试、评估、监控门槛通过后，系统自动将模型或服务发布到生产环境，无需人工点击按钮。这是AI模型频繁迭代场景下的理想态，但对监控和回滚能力要求极高。
关键区分：持续交付与持续部署的差别，不是“部署到哪”，而是“谁按下生产环境的发布按钮”。持续交付是“人可以按”，持续部署是“系统自动按”。
方法流程：从代码提交到生产发布的自动化阶梯
下面这张SVG图展示了CI/CD三个阶段的递进关系，以及AI模型流水线中每个阶段特有的检查项。请注意，每个阶段都包含上一阶段的所有能力，并叠加新的自动化层级。
上图清晰地展示了三个阶段的递进关系。在AI模型场景中，CI阶段关注的是“模型能不能训练、代码能不能跑”；持续交付阶段关注的是“模型效果好不好、服务能不能集成”；而持续部署阶段则关注“线上流量能不能扛、效果是否持续达标”。
案例场景：一个推荐模型更新的完整旅程
假设你负责一个电商推荐系统的CTR预估模型，每天需要更新模型权重。下面是一次典型的CI/CD流水线执行过程：
- CI阶段（约15分钟）：数据科学家将新的特征工程代码和训练配置推送到Git仓库。Jenkins/GitLab CI自动触发：运行pytest测试特征处理逻辑，校验训练数据中是否存在空值或类型错误，用1/100的数据跑一次微型训练确认Loss能正常下降。最终生成一个包含模型代码和Docker镜像的制品包。
- 持续交付阶段（约40分钟）：制品被自动部署到Staging环境。系统加载最近7天的真实流量回放，对比新旧模型的AUC和GAUC。同时启动一个影子服务，将1%的生产流量复制到Staging模型，比较预测延迟和结果分布。测试全部通过后，流水线停在“等待人工审批”状态，向技术负责人发送审批通知。
- 持续部署阶段（自动执行）：负责人点击“批准发布”后（或配置为自动通过），Argo Rollouts开始执行金丝雀发布：先切5%流量到新模型，观察错误率和CTR预估分布；10分钟后无异常扩展到20%，再观察；最后扩展到100%。如果期间监控到p99延迟超过200ms或错误率超过0.5%，系统自动将流量全部切回旧版本，并发出告警。
实践要点：很多AI团队只做到了CI和持续交付，因为模型效果评估需要时间，且生产环境的数据分布可能随时变化。持续部署更适合在线学习、模型每周或每天更新的场景。如果你的模型一个月才更新一次，手动审批的持续交付模式反而更稳妥。
误区与复盘：AI项目中的典型混淆
| 常见误区 | 问题本质 | 正确做法 |
|---|---|---|
| 认为“CI=跑通测试” | 只验证了代码能运行，没有验证模型训练可复现和数据质量 | CI中必须包含数据schema校验、训练种子固定、模型指标基线对比 |
| 把“部署到Staging”称为持续部署 | 混淆了环境部署与生产发布的概念 | 只有自动发布到生产并承载真实流量，才算持续部署 |
| 持续部署没有自动回滚 | 模型上线后效果变差，但回滚需要人工操作，导致线上事故 | 必须配置自动回滚触发器（如AUC下降超过阈值、错误率突增） |
| 三个阶段的检查项完全一样 | 没有根据环境风险差异设计不同深度的验证 | CI跑轻量测试，持续交付跑全量评估，持续部署前跑健康检查+金丝雀 |
复盘提醒：在一个真实项目中，团队将模型训练直接接入持续部署流水线，但跳过了持续交付阶段的影子流量测试。结果新模型在训练时使用了未来时间段的特征（数据泄漏），上线后CTR预估严重偏高，推荐列表质量骤降。由于没有配置自动回滚，事故持续了2小时才被人工发现。这个案例说明：持续部署不是“删掉审批按钮”那么简单，它要求每个环节的自动化验证必须足够可靠，否则自动化只会加速故障传播。
总结来说，CI/CD三个概念在AI模型集成中构成了一个自动化信任阶梯：CI让你信任代码和模型能构建，持续交付让你信任模型效果和服务质量，持续部署让你信任系统能在无人干预的情况下安全地将模型推向生产。理解它们的区别，能帮助你在设计流水线时合理分配验证资源，避免“过度自动化”或“自动化不足”两个极端。