1. 课程导论与整体架构：什么是AML在线推理链路？
在机器学习工程化落地过程中，模型训练完成只是第一步。如何将训练好的模型稳定、高效、低成本地对外提供预测服务，是MLOps的核心挑战之一。AML在线推理链路（AML Online Inference Pipeline）指的是从模型版本管理、部署、流量路由、推理加速、监控告警到弹性伸缩的完整技术闭环。
核心定义： AML在线推理链路 = 模型服务化 + 流量治理 + 弹性基础设施 + 推理优化引擎，四者缺一不可。
1.1 课程目标
通过本课程，学员将掌握构建生产级在线推理系统的完整方法论与实操技能：
- 理解在线推理链路中每个组件的职责与交互关系
- 掌握基于Kubernetes、Istio、Triton、KServe的部署与运维
- 能够独立设计并实现高可用、低延迟的模型推理服务
- 具备MLOps视角下的链路监控、弹性伸缩与故障恢复能力
1.2 适用人群
| 角色 | 前置要求 | 主要收益 |
|---|---|---|
| ML/DL工程师 | 熟悉Python、PyTorch/TensorFlow | 掌握模型部署与推理优化 |
| MLOps/SRE工程师 | 了解Docker、Kubernetes基础 | 构建生产级推理基础设施 |
| AI系统架构师 | 有分布式系统设计经验 | 设计端到端推理链路架构 |
| 技术管理者 | 了解MLOps基本概念 | 评估技术选型与团队建设 |
1.3 整体技术栈概览
本课程围绕四个核心开源组件构建，它们共同构成了现代AML在线推理链路的基石：
| 组件 | 版本 | 核心职责 | 类比 |
|---|---|---|---|
| Kubernetes | ≥1.28 | 容器编排、资源调度、弹性伸缩 | 操作系统 |
| Istio | ≥1.20 | 服务网格、流量管理、安全通信 | 网络交换机 |
| Triton Inference Server | ≥2.40 | 多框架推理引擎、GPU加速、动态批处理 | 高性能计算引擎 |
| KServe | ≥0.12 | 模型部署CRD、自动扩缩容、金丝雀发布 | 应用管理器 |
选型理由： 这四个组件均为CNCF（云原生计算基金会）生态项目，社区活跃、文档完善、生产验证充分。Kubernetes提供基础设施层，Istio解决网络与流量问题，Triton专注推理性能，KServe则作为上层编排层将三者无缝集成。
1.4 在线推理链路架构图
下图展示了从客户端请求到模型推理响应的完整链路，以及各组件在链路中的位置：
1.5 推理链路核心流程
一次完整的在线推理请求，在链路中经历以下关键步骤：
- 客户端发起请求 — HTTP/gRPC 请求携带模型输入数据
- Istio 流量拦截与路由 — 根据请求头或路径规则，将流量分发到对应模型服务版本
- KServe 模型服务发现 — 通过 InferenceService CRD 找到目标模型的 Pod 端点
- Triton 推理执行 — 加载模型、执行前处理/推理/后处理，返回结果
- 响应返回 — 经过 Istio 链路追踪与监控指标采集，最终返回客户端
常见误区： 很多初学者认为在线推理只是“模型加载 + API 封装”。实际上，生产环境还需要考虑：模型版本管理、蓝绿部署、金丝雀发布、请求超时与重试、GPU 显存隔离、自动扩缩容策略等。本课程将逐一覆盖这些关键环节。
1.6 技术栈分层关系
从架构分层视角，四个组件的关系可以归纳为：
1.7 课程章节预览
本课程共30章，按主题分为五个模块：
| 模块 | 章节范围 | 核心内容 |
|---|---|---|
| 基础篇 | 第1-5章 | 环境搭建、Kubernetes 基础、Istio 安装与配置 |
| 推理引擎篇 | 第6-12章 | Triton 部署、多框架支持、动态批处理、模型仓库 |
| 服务编排篇 | 第13-20章 | KServe 安装、InferenceService CRD、自动扩缩容、金丝雀发布 |
| 运维监控篇 | 第21-26章 | 链路追踪、监控告警、日志收集、故障恢复 |
| 实战进阶篇 | 第27-30章 | 多模型推理、A/B测试、GPU 共享、生产最佳实践 |
学习建议： 建议按照章节顺序学习，每个模块结束后完成配套实验。第1-5章是基础，务必亲手搭建环境；第6-12章是核心，需要理解 Triton 的推理优化原理；第13-20章是生产化关键，建议反复练习 CRD 配置。