VIP20
本课程属于：024-反欺诈图谱低延迟评分接口 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

反欺诈模型serving延迟优化技巧

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
延迟优化总览
反欺诈模型Serving延迟的构成 · 优化目标与核心挑战
延迟优化总览Serving
02
模型量化技术
FP16/INT8量化原理 · 在反欺诈模型中的应用与精度影响评估
模型量化技术FP16/INT8
03
模型剪枝与蒸馏
结构化剪枝 · 知识蒸馏方法 · 减少模型参数量与计算量
模型剪枝蒸馏
04
ONNX Runtime优化
模型导出为ONNX格式 · 使用ONNX Runtime进行推理…
ONNXRuntime
05
TensorRT部署
TensorRT的图优化 · 层融合 · 内核自动调优
TensorRT部署
06
模型并行与流水线
将大模型拆分为多个子模型并行执行 · 降低单次推理延迟
模型并行流水线
07
特征工程加速
特征计算缓存 · 预计算与异步特征加载策略
特征工程加速特征计算缓存
08
特征存储优化
使用Redis/SSD等高速存储 · 减少特征读取I/O延迟
特征存储优化Redis/SSD
09
请求批处理
动态批处理与静态批处理策略 · 平衡延迟与吞吐量
请求批处理动态批处理
10
异步推理框架
使用gRPC异步流 · 消息队列实现非阻塞推理调用
异步推理框架gRPC
11
模型预热
避免冷启动延迟 · 通过预热请求加载模型到GPU/CPU…
模型预热避免冷启动延迟
12
GPU显存管理
显存池化 · 显存复用与显存碎片整理技术
GPU显存管理
13
CPU推理优化
使用MKL-DNN · AVX指令集 · OpenMP多线程加速CPU推理
CPU推理优化
14
模型版本管理
蓝绿部署 · 金丝雀发布 · 减少模型切换时的服务中断与延迟抖动
模型版本管理蓝绿部署
15
负载均衡与限流
基于延迟感知的负载均衡 · 令牌桶限流保护后端服务
负载均衡限流
16
缓存策略
特征缓存 · 结果缓存 · LRU缓存淘汰策略在反欺诈场景的应用
缓存策略特征缓存
17
网络传输优化
使用Protobuf/FlatBuf… · HTTP/2多路复用 · 连接池复用
网络传输优化Protobuf/Fla…
18
推理引擎选择
TensorFlow Serving · TorchServe · Triton Inference S…
推理引擎选择TensorFlow
19
Triton Inference Server深度优化
动态批处理 · 并发模型执行 · 模型流水线
TritonInference
20
模型编译优化
使用XLA · TVM等编译器对模型进行端到端编译优…
模型编译优化XLA
21
图优化技术
常量折叠 · 算子融合 · 死代码消除等计算图优化方法
图优化技术常量折叠
22
内存带宽优化
数据布局优化（NHWC vs NCH… · 内存对齐 · 减少内存拷贝
内存带宽优化NHWC
23
分布式推理
将推理请求分发到多个节点 · 使用一致性哈希减少特征迁移
分布式推理将推理请求分发到…
24
边缘端部署优化
模型压缩 · 端侧推理引擎（如NCNN · TFLite）适配与延迟优化
边缘端部署优化模型压缩
25
延迟监控与可观测性
集成Prometheus · Grafana · 实时追踪P50/P99/P999延迟
延迟监控可观测性
26
性能剖析工具
使用NVIDIA Nsight · PyTorch Profiler · FlameGraph定位瓶颈
性能剖析工具NVIDIA
27
A/B测试与灰度发布
在延迟优化上线前进行A/B测试 · 验证优化效果与模型效果
A/B测试
28
自动扩缩容
基于延迟指标的HPA（水平Pod自动…
自动扩缩容HPA
29
成本与延迟权衡
GPU实例选型 · Spot实例使用 · 模型精度与延迟的平衡策略
成本延迟权衡
30
实战案例复盘
某金融反欺诈系统延迟从200ms降至…
实战案例复盘ms