VIP20
本课程属于：040-模型可解释性低延迟评分接口 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

模型服务延迟优化：可解释评分接口实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
为什么需要延迟优化？可解释评分接口的…
课程导论为什么需要延迟优…
02
延迟指标定义
P50/P95/P99延迟 · 吞吐量 · 响应时间分解
延迟指标定义P50/P95/P99
03
性能基准测试
使用wrk/locust进行接口压测 · 建立基线
性能基准测试wrk/locust
04
可解释评分接口架构
请求流程 · 模型调用 · 特征工程
可解释评分接口架…请求流程
05
延迟瓶颈分析
CPU · 内存 · I/O
延迟瓶颈分析CPU
06
Profiling工具实战
cProfile · py-spy · flamegraph定位热点函数
Profiling工具实战
07
模型推理优化
ONNX Runtime · TensorRT · 模型量化与剪枝
模型推理优化ONNX
08
批处理优化
动态批处理 · 请求合并 · 最大延迟约束
批处理优化动态批处理
09
缓存策略
LRU缓存 · 特征缓存 · 结果缓存
缓存策略LRU
10
异步处理
asyncio · 线程池 · 进程池在评分接口中的应用
异步处理asyncio
11
连接池优化
数据库连接池 · HTTP连接池 · gRPC连接池
连接池优化数据库连接池
12
序列化优化
protobuf vs JSON v… · 选择与对比
序列化优化protobuf
13
特征工程加速
特征预计算 · 特征存储 · 特征服务降级
特征工程加速特征预计算
14
模型服务化
使用Triton Inference…
模型服务化Triton
15
负载均衡
Nginx · Envoy · gRPC负载均衡策略
负载均衡Nginx
16
限流与熔断
令牌桶 · 漏桶 · 滑动窗口
限流熔断
17
超时控制
客户端超时 · 服务端超时 · 重试策略与幂等性
超时控制客户端超时
18
数据预处理优化
向量化操作 · NumPy/Pandas加速 · C扩展
数据预处理优化向量化操作
19
内存管理
对象池 · 内存复用 · 减少GC压力
内存管理对象池
20
网络优化
HTTP/2 · gRPC · 长连接
网络优化HTTP/2
21
分布式评分
分片策略 · 一致性哈希 · 结果合并
分布式评分分片策略
22
可观测性
Prometheus指标 · Grafana面板 · 链路追踪
可观测性Prometheus
23
日志优化
结构化日志 · 异步日志 · 日志采样
日志优化结构化日志
24
A/B测试与灰度发布
延迟对比 · 流量切换 · 回滚策略
A/B测试
25
自动扩缩容
K8s HPA · 自定义指标 · 冷启动优化
自动扩缩容K8s
26
边缘部署
模型压缩 · 边缘推理 · 离线评分
边缘部署模型压缩
27
成本与延迟权衡
GPU vs CPU · 内存 vs 磁盘 · 精度 vs 速度
成本延迟权衡
28
案例实战1
金融风控评分接口从500ms优化到5…
案例实战1ms
29
案例实战2
推荐系统实时评分接口的延迟优化全流程
案例实战2推荐系统实时评分…
30
课程总结
延迟优化的最佳实践 · 常见陷阱与未来趋势
课程总结延迟优化的最佳实…