VIP20

本课程属于：025-实时交易风控流式决策链路 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

低延迟风控模型在线serving教程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

低延迟风控模型Serving的定义 · 业务价值 · 典型应用场景（实时交易反欺诈

课程导论Serving

延迟指标与性能目标

P99延迟 · TP99.9 · 吞吐量(QPS)

延迟指标性能目标

Serving架构总览

请求入口层 · 预处理层 · 模型推理层

Serving架构总览

模型序列化与格式选择

ONNX · TorchScript · TensorRT

模型序列化格式选择

模型优化基础

量化（INT8/FP16） · 剪枝 · 蒸馏的基本原理与对延迟的影响

模型优化基础INT8/FP16

推理引擎选型

TensorRT · ONNX Runtime · Triton Inference S…

推理引擎选型TensorRT

GPU vs CPU Serving

GPU批处理优势 · CPU低并发优势 · 混合部署策略

请求预处理优化

特征工程在线化 · 特征缓存 · 预计算特征

请求预处理优化特征工程

模型版本管理与热加载

蓝绿部署 · 金丝雀发布 · 模型版本路由

模型版本管理热加载

请求批处理技术

动态批处理 · 静态批处理 · 微批处理

请求批处理技术动态批处理

异步Serving与流式处理

gRPC streaming · Kafka流式推理 · WebSocket实时推送

结果缓存 · 特征缓存 · 模型权重缓存

缓存策略结果缓存

gRPC vs HTTP/2 · 连接池 · Keep-Alive

网络优化gRPC

负载均衡与流量调度

一致性哈希 · 最小连接数 · 权重轮询

负载均衡流量调度

资源隔离与容器化

Docker资源限制 · Kubernetes QoS · NUMA绑定

资源隔离容器化

模型预热与冷启动优化

Warm-up请求 · 模型预加载 · JIT编译预热

模型预热冷启动优化

监控与可观测性

Prometheus指标暴露 · Grafana面板 · OpenTelemetry链路追踪

监控可观测性

延迟瓶颈定位

火焰图 · perf工具 · NVIDIA Nsight

延迟瓶颈定位火焰图

A/B测试与灰度实验

流量切分 · 实验分组 · 指标对比

安全与防攻击

模型防盗用（Token鉴权） · 请求签名 · 频率限制

安全防攻击

多模型组合Serving

模型集成 · 级联推理 · DAG工作流编排（如Kubeflow…

Serving多模型组合

边缘端Serving

移动端/嵌入式模型部署 · TFLite/ONNX Runtim… · 端侧推理优化

Serving边缘端

Serverless Serving

AWS Lambda · 阿里云函数计算 · 冷启动优化

ServerlessServing

大规模集群Serving

Kubernetes + Istio…

Serving大规模集群

模型更新与回滚策略

平滑迁移 · 版本兼容性 · 数据一致性

模型更新回滚策略

GPU共享 · Spot实例 · 自动扩缩容

成本优化GPU

实时交易反欺诈Serving（延迟5…

案例实战1Serving

信贷审批模型Serving（延迟<5… · 多模型组合）的架构设计与实现

案例实战2Serving

内容安全审核Serving（多模态模… · 延迟<200ms）的架构设计与实现

案例实战3Serving

课程总结与未来趋势

边缘AI · 联邦学习Serving · LLM实时推理

课程总结未来趋势