VIP20
本课程属于：039-风控规则引擎在线推理链路 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

在线推理链路延迟优化实战资料

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
延迟优化概述
在线推理延迟的定义 · 延迟对用户体验的影响 · 延迟优化的核心目标与挑战
延迟优化概述线推理延迟的定义
02
推理链路全景分析
端到端推理链路拆解（客户端 · 网络 · 网关
推理链路全景分析端到端推理链路拆…
03
性能基准测试方法
延迟与吞吐量指标定义 · 压测工具选型（wrk · ghz
性能基准测试方法延迟
04
模型加载与初始化优化
模型文件格式选择（SavedMode… · ONNX · TorchScript）
模型加载初始化优化
05
推理引擎选型与配置
TensorRT · ONNX Runtime · OpenVINO
推理引擎选型配置
06
批处理策略优化
动态批处理（Dynamic Batc… · 最大延迟约束下的批大小调优 · 队列管理机制
批处理策略优化Dynamic
07
模型量化技术
FP16 · INT8 · INT4量化原理
模型量化技术FP16
08
模型剪枝与蒸馏
结构化剪枝与非结构化剪枝 · 知识蒸馏（Knowledge Dis… · 压缩比与加速比评估
模型剪枝蒸馏
09
算子融合与图优化
算子融合（Kernel Fusion… · 计算图优化策略（常量折叠 · 死代码消除）
算子融合图优化
10
GPU显存与计算优化
CUDA流与异步推理 · 显存池复用 · MPS（Multi-Process…
GPU显存
11
CPU推理优化
AVX指令集利用 · Intel oneDNN/MKL加速 · NUMA亲和性绑定
CPU推理优化
12
内存与缓存优化
内存分配器选择（jemalloc · tcmalloc） · 缓存行对齐
内存缓存优化
13
网络传输优化
gRPC与HTTP/2协议对比 · 连接池与Keep-Alive · Protobuf序列化优化
网络传输优化gRPC
14
负载均衡与路由策略
一致性哈希路由 · 最小连接数算法 · 加权轮询
负载均衡路由策略
15
服务降级与熔断机制
熔断器模式（Circuit Brea… · 优雅降级策略 · 超时控制与重试退避算法
服务降级熔断机制
16
缓存策略优化
推理结果缓存（LRU · LFU） · 特征缓存
缓存策略优化LRU
17
异步与并发模型
异步推理框架设计（基于asyncio · Reactor模式） · 协程与线程池混合模型
异步并发模型
18
请求调度与优先级管理
请求排队策略（FIFO · 优先级队列） · 饥饿避免
请求调度优先级管理
19
推理服务弹性伸缩
基于CPU/GPU利用率的HPA · 基于请求队列深度的KEDA · 冷启动与预热优化
推理服务弹性伸缩CPU/GPU
20
链路追踪与监控
OpenTelemetry集成 · Span与Trace设计 · 延迟分布分析（P50/P99/P99…
链路追踪监控
21
性能剖析与热点定位
CPU Profiling（perf · py-spy） · GPU Profiling（Nsig…
性能剖析热点定位
22
A/B测试与灰度发布
推理服务A/B测试架构 · 流量染色与路由 · 灰度发布策略（金丝雀
A/B测试
23
多模型部署与资源隔离
模型分片部署 · GPU显存隔离（MIG） · 容器资源限制（cgroup）
多模型部署资源隔离
24
边缘推理延迟优化
边缘端模型压缩 · 端侧推理引擎（TFLite · CoreML
边缘推理延迟优化边缘端模型压缩
25
混合精度训练与推理
AMP（Automatic Mixe… · FP16/BF16推理适配 · 硬件支持（Tensor Core）
混合精度训练推理
26
推理服务安全与延迟权衡
请求认证开销优化 · TLS握手加速（Session Re… · WAF规则精简
推理服务安全延迟权衡
27
成本与延迟平衡
Spot实例与预留实例选择 · GPU利用率与成本模型 · 延迟SLA与成本优化策略
成本延迟平衡
28
大规模集群延迟优化
分布式推理架构（模型并行 · 流水线并行） · AllReduce通信优化
大规模集群延迟优…分布式推理架构
29
故障排查与根因分析
常见延迟问题分类（网络抖动 · 慢查询 · 资源争抢）
故障排查根因分析
30
延迟优化最佳实践与未来趋势
端到端优化Checklist · AutoML for Latency · Serverless推理
延迟优化最佳实践未来趋势