VIP20
本课程属于：031-反洗钱监测在线推理链路 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

AML推理链路低延迟架构详解

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论与背景
低延迟推理在广告 · 搜索 · 推荐(AML)系统中的重要性
课程导论背景
02
端到端推理链路全景
从请求到达 · 特征工程 · 模型打分到结果返回的完整流程拆解
端到端推理链路全…从请求到达
03
延迟的度量与分解
P50/P99/P999延迟 · 尾延迟 · 延迟分解方法论（火焰图
延迟的度量分解
04
硬件选型与异构计算
CPU vs GPU vs TPU… · 以及针对低延迟场景的硬件选型策略
硬件选型异构计算
05
模型优化基础
量化（INT8/FP16） · 剪枝 · 蒸馏对推理延迟的影响
模型优化基础INT8/FP16
06
推理引擎选型
TensorRT · ONNX Runtime · OpenVINO
推理引擎选型TensorRT
07
算子融合与图优化
如何通过算子融合减少Kernel L… · 提升计算密度
算子融合图优化
08
内存管理与显存优化
显存池化 · 内存复用 · 显存碎片整理技术
内存管理显存优化
09
请求级并行与批处理
动态批处理 · 连续批处理（Continuous B…
请求级并行批处理
10
异步推理与流水线
异步请求处理 · 多阶段流水线设计 · 避免阻塞
异步推理流水线
11
特征工程加速
特征预计算 · 特征缓存 · 特征索引优化
特征工程加速特征预计算
12
模型分片与分布式推理
模型并行 · 张量并行 · 流水线并行的低延迟设计
模型分片分布式推理
13
模型缓存与预热
模型热加载 · 模型版本管理 · 冷启动优化
模型缓存预热
14
网络传输优化
gRPC vs HTTP/2 vs… · 以及RDMA · 共享内存的应用
网络传输优化gRPC
15
序列化与反序列化优化
Protobuf · FlatBuffers · Cap'n Proto的延迟对比与选…
序列化反序列化优化
16
负载均衡与路由策略
一致性哈希 · 最小连接数 · 延迟感知路由
负载均衡路由策略
17
服务化架构与容器化
Docker · Kubernetes在低延迟推理服务…
服务化架构容器化
18
推理结果缓存
LRU缓存 · TTL缓存 · 语义缓存
推理结果缓存LRU
19
降级与熔断机制
当延迟超标时 · 如何优雅降级（降级模型 · 降级特征
降级熔断机制
20
动态形状与静态形状优化
静态形状带来的编译优化与动态形状的灵…
动态形状静态形状优化
21
编译优化与JIT
TVM · XLA · Triton Compiler的JI…
JIT编译优化
22
GPU Kernel优化
CUDA编程基础 · Kernel融合 · Warp调度优化
GPUKernel
23
CPU指令集优化
AVX-512 · AMX · SVE等指令集在推理加速中的应用
CPU指令集优化
24
操作系统与内核调优
CPU亲和性 · 大页内存 · 中断绑定
操作系统内核调优
25
监控与可观测性
Prometheus · Grafana · OpenTelemetry在延迟监控…
监控可观测性
26
A/B测试与灰度发布
如何在不影响延迟的前提下进行模型迭代
A/B测试
27
典型场景案例一
广告点击率(CTR)预估模型的低延迟…
典型场景案例一CTR
28
典型场景案例二
搜索引擎中深度语义匹配模型的低延迟推…
典型场景案例二搜索引擎
29
典型场景案例三
推荐系统中多任务学习模型的低延迟推理…
典型场景案例三推荐系统
30
课程总结与未来展望
低延迟推理的新趋势（如CXL · Chiplet · 存算一体）
课程总结未来展望