VIP20

本课程属于：032-量化因子研究低延迟评分接口 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

模型serving与低延迟因子评分实践

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

模型Serving概述

模型Serving的定义 · 在AI生产中的位置 · Serving与训练的区别

低延迟因子评分概念

因子评分的业务场景 · 低延迟的定义与量化指标（P99 · P50延迟）

低延迟因子评分概…因子评分的业务场…

Serving系统架构设计

请求入口层 · 路由层 · 推理引擎层

Serving系统架构设计

模型序列化与格式

SavedModel · ONNX · TorchScript

模型序列化格式

模型加载与热更新

模型版本管理 · 蓝绿部署 · 金丝雀发布

模型加载热更新

推理引擎选型

TensorFlow Serving · TorchServe · Triton Inference S…

推理引擎选型TensorFlow

Triton Inference Server深入

架构 · 模型仓库配置 · 并发模型实例

TritonInference

ONNX Runtime优化

ONNX图优化 · 算子融合 · INT8量化

FP16/INT8量化 · 层融合 · 动态形状

模型量化技术

PTQ与QAT · 对称/非对称量化 · 校准数据集

模型量化技术PTQ

模型剪枝与蒸馏

结构化剪枝 · 非结构化剪枝 · 知识蒸馏

模型剪枝蒸馏

批处理策略

动态批处理 · 静态批处理 · 微批处理

批处理策略动态批处理

请求级优化

请求合并 · 请求缓存 · 请求优先级队列

请求级优化请求合并

网络与通信优化

gRPC vs HTTP/REST · 协议缓冲区 · 连接池

网络通信优化

GPU推理优化

CUDA流 · MPS · 多进程服务

GPU推理优化

CPU推理优化

MKL-DNN · OpenVINO · AVX指令集

CPU推理优化

内存与显存管理

模型共享内存 · 内存池 · 显存预分配

内存显存管理

Serving可观测性

Prometheus指标 · Grafana面板 · 请求追踪（OpenTelemetry…

Serving可观测性

负载均衡与自动扩缩

Kubernetes HPA · 自定义指标扩缩 · 服务网格

负载均衡自动扩缩

A/B测试与实验平台

Serving层A/B测试 · 流量切分 · 实验指标收集

特征工程与Serving联动

在线特征存储（Feast） · 特征计算与模型Serving的延迟预…

Serving特征工程

端到端延迟分析

请求生命周期拆解 · 各阶段耗时分析 · 火焰图

端到端延迟分析请求生命周期拆解

结果缓存 · 特征缓存 · 模型中间层缓存

缓存策略结果缓存

边缘端Serving

边缘设备限制 · 模型压缩 · TFLite/ONNX Runtim…

Serving边缘端

多模型Serving

模型组合 · DAG推理 · 模型管线

Serving多模型

安全与访问控制

模型加密 · 请求认证 · 速率限制

安全访问控制

Serving性能基准测试

负载生成器（Locust · wrk） · 指标采集

Serving性能基准测试

生产环境Serving案例

广告点击率预估 · 实时风控 · 推荐系统

Serving生产环境

Serving系统故障排查

常见问题（OOM · 高延迟 · 模型加载失败）

Serving系统故障排查

未来趋势与总结

Serverless推理 · WebAssembly · 异构计算

未来趋势Serverless