VIP20
本课程属于：030-授信决策引擎高并发评分通道 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

模型serving与策略编排集成教程

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
模型服务概述
模型服务的定义 · 在AI系统中的核心作用 · 与传统Web服务的区别
模型服务概述模型服务的定义
02
策略编排基础
策略编排的概念 · 规则引擎与工作流引擎的区别 · 编排在微服务中的位置
策略编排基础策略编排的概念
03
模型服务架构设计
单体架构 vs 微服务架构 · 服务发现与负载均衡 · 无状态设计原则
模型服务架构设计vs
04
模型序列化与反序列化
常用序列化格式（JSON · Protobuf · MessagePack）
模型序列化反序列化
05
模型推理引擎
TensorFlow Serving · TorchServe · ONNX Runtime的安装与配置
模型推理引擎TensorFlow
06
模型版本管理
版本号策略 · 蓝绿部署 · 金丝雀发布
模型版本管理版本号策略
07
模型服务API设计
RESTful API设计规范 · gRPC接口定义 · API版本控制
API模型服务
08
请求与响应处理
请求预处理 · 特征工程 · 后处理逻辑
请求响应处理
09
批处理与流式推理
同步批处理 · 异步批处理 · 流式响应（Server-Sent E…
批处理流式推理
10
模型服务监控
Prometheus指标暴露 · Grafana仪表盘 · 日志收集与告警
模型服务监控Prometheus
11
模型服务弹性伸缩
基于CPU/GPU利用率的HPA · 自定义指标伸缩 · 冷启动优化
模型服务弹性伸缩CPU/GPU
12
策略编排引擎选型
Camunda · Temporal · Apache Airflow
策略编排引擎选型Camunda
13
规则引擎集成
Drools规则定义 · 决策表 · 规则冲突解决
规则引擎集成Drools
14
工作流引擎集成
BPMN 2.0流程定义 · 任务节点 · 网关
工作流引擎集成BPMN
15
策略编排与模型服务的通信
同步调用（HTTP/gRPC） · 异步消息（Kafka/RabbitM… · 事件驱动
策略编排模型服务的通信
16
模型服务网关
API Gateway配置 · 限流 · 熔断
模型服务网关API
17
模型服务缓存策略
本地缓存 · 分布式缓存（Redis） · 缓存更新策略
模型服务缓存策略本地缓存
18
模型服务安全
TLS/SSL加密 · JWT鉴权 · API密钥管理
模型服务安全TLS/SSL
19
策略编排中的条件判断
简单条件 · 复合条件 · 时间条件
策略编排条件判断
20
策略编排中的循环与并行
循环节点 · 并行网关 · 聚合节点
策略编排循环
21
模型A/B测试编排
流量分配 · 实验分组 · 指标收集
A/B模型
22
模型服务与编排的日志追踪
分布式追踪（Jaeger/Zipki… · 日志结构化 · Trace ID传递
模型服务编排的日志追踪
23
模型服务配置管理
配置中心（Consul/etcd） · 动态配置 · 环境隔离
模型服务配置管理Consul/etcd
24
模型服务健康检查
存活探针 · 就绪探针 · 自定义健康检查端点
模型服务健康检查存活探针
25
策略编排的测试与调试
单元测试 · 集成测试 · 模拟服务
策略编排的测试调试
26
模型服务与编排的CI/CD
模型流水线 · 策略流水线 · 自动化测试
CI/CD模型服务
27
模型服务成本优化
GPU共享 · 模型量化 · 推理加速（TensorRT）
模型服务成本优化GPU
28
策略编排的持久化与状态管理
工作流状态存储 · 幂等性设计 · 补偿事务
策略编排的持久化状态管理
29
模型服务与编排的故障恢复
重试策略 · 死信队列 · 降级方案
模型服务编排的故障恢复
30
综合实战案例
构建一个智能推荐系统 · 从模型服务到策略编排的完整集成
综合实战案例构建一个智能推荐…