VIP20
本课程属于：023-信用评分模型在线推理链路 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

信用评分模型serving性能指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
信用评分模型Serving概述
定义 · 业务价值 · Serving在风控链路中的位置
Serving信用评分模型
02
Serving性能指标体系
QPS · TP50/TP95/TP99延迟 · 吞吐量
Serving性能指标体系
03
模型Serving架构设计
同步/异步架构 · 微服务与单体架构对比
Serving模型
04
模型序列化与反序列化优化
Protobuf · FlatBuffers · Avro对比与选型
模型序列化反序列化优化
05
特征工程Serving优化
特征计算缓存 · 预计算特征 · 在线特征存储选型
Serving特征工程
06
模型推理引擎选型
TensorFlow Serving · ONNX Runtime · TorchServe
模型推理引擎选型TensorFlow
07
GPU推理加速
CUDA · TensorRT · FP16/INT8量化
GPU推理加速
08
CPU推理优化
Intel MKL · OpenVINO · AVX指令集
CPU推理优化
09
模型分片与并行推理
模型并行 · 数据并行 · 流水线并行
模型分片并行推理
10
请求级缓存策略
LRU缓存 · 特征级缓存 · 结果缓存
请求级缓存策略LRU
11
负载均衡与流量控制
一致性哈希 · 加权轮询 · 熔断降级
负载均衡流量控制
12
异步Serving与消息队列
Kafka/RabbitMQ集成 · 异步回调 · 超时处理
Serving异步
13
批处理推理优化
动态批处理 · 固定批处理 · 延迟与吞吐量权衡
批处理推理优化动态批处理
14
模型版本管理与热更新
蓝绿部署 · 金丝雀发布 · 版本回滚
模型版本管理热更新
15
Serving容器化与编排
Docker镜像优化 · Kubernetes HPA · 资源请求与限制
Serving容器化
16
性能基准测试方法论
压测工具选型（wrk · ghz · locust）
性能基准测试方法…wrk
17
性能监控与可观测性
Prometheus指标暴露 · Grafana面板 · 日志结构化
性能监控可观测性
18
分布式追踪
OpenTelemetry集成 · Span分析 · 瓶颈定位
分布式追踪OpenTelemetr…
19
内存与显存优化
模型内存压缩 · 显存碎片整理 · 共享内存机制
内存显存优化
20
网络延迟优化
gRPC vs REST · 连接池 · HTTP/2多路复用
网络延迟优化gRPC
21
冷启动与预热策略
模型预热 · 特征缓存预热 · JIT编译预热
冷启动预热策略
22
多模型组合Serving
模型DAG编排 · 特征共享 · 结果聚合
Serving多模型组合
23
安全与性能权衡
鉴权开销 · 加密推理 · 速率限制对延迟的影响
安全性能权衡
24
边缘端Serving性能
模型剪枝 · 量化 · TFLite/ONNX Runtim…
Serving边缘端
25
大规模Serving集群设计
分片策略 · 地域部署 · 多活架构
Serving大规模
26
性能瓶颈诊断方法
CPU Profiling · GPU Profiling · 火焰图
性能瓶颈诊断方法CPU
27
SLA保障与容量规划
SLO定义 · 弹性伸缩策略 · 冗余设计
SLA保障
28
成本优化
Spot实例使用 · 模型蒸馏 · 推理实例选型
成本优化Spot
29
案例实战
某金融风控模型Serving从100…
案例实战Serving
30
未来趋势
Serverless推理 · WebAssembly · 边缘AI
未来趋势Serverless