VIP10
本课程属于：049-金融模型Serving与低延迟推理 智能金融与金融工程 · 共 10 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

金融推理P95/P99延迟与容量优化实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=金融推理场景特点 · P95/P99延迟的业务意义 · 容量优化目标
课程导入目标=金融推理场…
02
延迟指标基础
目标=平均值 · P50 · P95
延迟指标基础目标=平均值
03
金融推理负载特征
目标=在线实时推理 · 批量评分 · 流式决策
金融推理负载特征目标=
04
性能度量体系
目标=延迟直方图 · 分位数计算 · 吞吐量
性能度量体系目标=延迟直方图
05
基准测试方法
目标=压测工具选型 · 负载模型设计 · 预热策略
基准测试方法目标=压测工具选…
06
瓶颈定位流程
目标=从客户端到服务端的全链路拆解 · CPU · GPU
瓶颈定位流程目标=从客户端到…
07
模型推理优化基础
目标=算子融合 · 量化 · 剪枝
模型推理优化基础目标=算子融合
08
服务框架与运行时
目标=Triton · TensorRT · ONNX Runtime
服务框架运行时
09
批处理与调度策略
目标=静态批 · 动态批 · 连续批
批处理调度策略
10
并发与资源隔离
目标=线程池 · 协程 · GPU流
并发资源隔离
11
缓存与预计算
目标=特征缓存 · KV缓存 · 结果缓存
缓存预计算
12
网络与通信优化
目标=gRPC · HTTP/2 · RDMA
网络通信优化
13
容量规划方法
目标=基于QPS · 并发 · 资源画像的容量模型
容量规划方法QPS
14
自动扩缩容实战
目标=Kubernetes HPA/… · KEDA · 自定义指标
自动扩缩容实战Kubernetes
15
监控与告警体系
目标=Prometheus · Grafana · OpenTelemetry
监控告警体系
16
金融风控推理案例
目标=实时反欺诈模型P95/P99优… · 特征计算 · 模型推理与决策链路端到端调优
金融风控推理案例P95/P99
17
量化交易推理案例
目标=低延迟信号生成 · 订单簿预测 · 模型推理与交易网关协同优化实战
量化交易推理案例目标=低延迟信号…
18
智能投顾与客服案例
目标=大模型推理服务P99优化 · 流式输出 · 会话保持
智能投顾客服案例
19
批量评分与离线推理
目标=夜间批量任务 · Spark/Ray分布式推理 · 吞吐优先与延迟约束的混合调度
批量评分离线推理
20
大模型推理专项
目标=KV Cache管理 · PagedAttention · 投机解码
大模型推理专项KV
21
成本与性能平衡
目标=GPU选型 · 实例规格 · 竞价实例
成本性能平衡
22
故障与降级策略
目标=超时 · 重试 · 熔断
故障降级策略
23
常见问题排查
目标=P99毛刺 · 队列堆积 · GC停顿
常见问题排查P99
24
A/B测试与灰度发布
目标=模型版本切换 · 流量切分 · 性能回归检测与P95/P99指标对比…
A/B测试
25
安全与合规
目标=数据隐私 · 模型加密 · 访问控制
安全合规
26
综合实战一
目标=搭建金融推理压测平台 · 采集P95/P99指标并完成基线报告
综合实战一目标=搭建金融推…
27
综合实战二
目标=针对高并发风控场景 · 完成动态批处理与自动扩缩容的端到端优…
综合实战二目标=针对高并发…
28
综合实战三
目标=大模型投研问答服务P99优化 · 结合缓存 · 量化与并行策略达成SLO
综合实战三P99
29
综合提升
目标=建立延迟与容量优化的持续迭代机… · 性能文化 · 容量评审与预案演练
综合提升目标=建立延迟
30
课程总结与展望
目标=核心方法论回顾 · 金融推理技术趋势 · 下一步学习与实战建议
课程总结目标=核心方法论…