VIP20
本课程属于：031-反洗钱监测在线推理链路 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

AML模型在线推理链路实操课

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论与整体架构
什么是AML在线推理链路？课程目标 · 适用人群 · 整体技术栈概览（Kubernetes
课程导论整体架构
02
推理链路核心组件解析
模型服务器（Triton/ Torc… · 路由网关（Istio/Envoy） · 特征平台（Feast）
推理链路核心组件…Triton
03
环境准备与基础搭建
云环境（AWS/GCP）或本地Min… · kubectl与helm安装 · 命名空间规划
环境准备基础搭建
04
模型打包与容器化
使用Docker打包PyTorch/… · 模型仓库结构（model repos… · 多版本管理
模型打包容器化
05
Triton Inference Server部署
Triton架构详解 · 部署YAML编写 · Config.pbtxt配置
TritonInference
06
KServe（原KFServing）入门
KServe架构 · InferenceService C… · 自动扩缩容（HPA/Scale-to…
KServeKFServing
07
Ingress与流量管理
使用Istio Gateway配置外… · VirtualService路由规则 · 灰度发布（Canary）
Ingress流量管理
08
特征工程与在线特征服务
Feast特征平台部署 · 在线特征获取API · 特征与模型版本对齐
特征工程线特征服务
09
请求预处理与后处理
自定义Pre/Post-proces… · 数据格式转换（JSON/Protob… · 输入校验
请求预处理后处理
10
推理请求的端到端流程
客户端SDK调用 · 请求链路追踪（OpenTelemet… · 响应时间分析
推理请求的端到端…SDK
11
模型版本管理与热加载
模型版本控制策略 · Triton模型热更新 · KServe多版本路由
模型版本管理热加载
12
A/B测试与金丝雀发布
基于Istio的流量切分 · KServe canary配置 · 实验评估指标
A/B测试
13
监控与可观测性
Prometheus指标采集（请求数 · 延迟 · 错误率）
监控可观测性
14
告警规则与自愈
Prometheus Alertma… · 基于延迟/错误率的告警 · 自动回滚策略
告警规则自愈
15
安全与认证
TLS证书配置（cert-manag… · JWT认证 · API Key管理
安全认证
16
GPU资源管理与调度
NVIDIA GPU Operato… · GPU共享与MPS · 节点亲和性调度
GPU资源管理
17
模型量化与加速
FP16/INT8量化 · TensorRT优化 · Triton动态批处理与并发模型实例
模型量化加速
18
多模型推理与模型组合
Ensemble模型 · 业务逻辑编排（BLS） · 多模型共享GPU
多模型推理模型组合
19
边缘推理与混合部署
边缘K3s集群 · 模型轻量化（ONNX） · 边缘-云协同推理
边缘推理混合部署
20
离线批处理与在线推理结合
批处理作业（Argo Workflo… · 模型预热 · 缓存策略
离线批处理线推理结合
21
成本优化与资源弹性
Spot实例使用 · Cluster Autoscaler · 请求合并
成本优化资源弹性
22
CI/CD for ML Pipeline
模型训练到部署的CI/CD（GitL… · 模型注册与自动部署
CI/CDfor
23
模型漂移与数据漂移检测
漂移检测工具（Evidently A… · 监控特征分布 · 触发重新训练
模型漂移数据漂移检测
24
多租户与资源隔离
命名空间隔离 · ResourceQuota · LimitRange
多租户资源隔离
25
高可用与容灾设计
多副本部署 · PodDisruptionBudge… · 跨AZ部署
高可用容灾设计
26
性能压测与调优
使用Locust/Vegeta进行压… · Triton性能分析器 · 瓶颈定位与优化
性能压测调优
27
日志审计与合规
审计日志（Audit Logging… · 数据脱敏 · GDPR合规
日志审计合规
28
实战案例一
图像分类在线推理链路（ResNet-…
实战案例一ResNet
29
实战案例二
NLP文本生成在线推理链路（GPT-…
实战案例二NLP
30
课程总结与进阶方向
常见问题FAQ · 最佳实践总结 · 推荐学习资源
课程总结进阶方向