VIP20

本课程属于：027-金融特征平台批流一体链路 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

金融模型serving低延迟优化指南

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

低延迟概述

金融交易场景对延迟的苛刻要求 · 延迟的度量单位（微秒/纳秒） · 延迟与吞吐量的权衡

低延迟概述金融交易场景对延…

CPU频率与核心选择 · NUMA架构对延迟的影响 · 网卡（Solarflare/Mell…

硬件选型CPU

操作系统调优

内核旁路（DPDK/XDP） · 中断亲和性设置 · CPU隔离（isolcpus）

操作系统调优DPDK/XDP

大页内存（HugePages）配置 · 内存池化技术 · 避免缺页中断

内存优化HugePages

模型序列化与反序列化

Protobuf/FlatBuffe… · 零拷贝反序列化 · Schema版本兼容性

模型序列化反序列化

模型推理引擎选型

TensorRT · ONNX Runtime · Triton Inference S…

模型推理引擎选型TensorRT

模型量化技术

FP16/INT8/INT4量化原理 · 量化对延迟与精度的影响 · 金融场景下的量化策略

模型量化技术FP16/INT8/IN…

模型剪枝与蒸馏

结构化剪枝 · 非结构化剪枝 · 知识蒸馏在保持精度前提下的加速效果

模型剪枝蒸馏

算子融合与图优化

算子融合（Kernel Fusion… · 计算图优化 · 常量折叠

算子融合图优化

批处理策略

动态批处理（Dynamic Batc… · 延迟与吞吐量的平衡 · 金融实时场景下的批处理限制

批处理策略Dynamic

并发与异步处理

异步推理框架设计 · Future/Promise模式 · 协程在推理中的应用

并发异步处理

原子操作 · CAS · 无锁队列（LMAX Disrupto…

无锁编程原子操作

模型权重缓存 · 特征缓存 · 结果缓存

缓存策略模型权重缓存

预加载与预热

模型预热（Warm-up） · JIT编译预热 · GPU显存预分配

预加载预热

网络传输优化

RDMA（InfiniBand/Ro… · TCP_NODELAY · 连接池

网络传输优化RDMA

负载均衡与路由

一致性哈希 · 最小连接数 · 延迟感知路由

负载均衡路由

服务网格与Sidecar

Envoy/Istio对延迟的影响 · Sidecar代理优化 · eBPF替代方案

Sidecar服务网格

GPU推理优化

CUDA Stream与Graph · MPS（Multi-Process… · GPU Direct P2P与RDM…

GPU推理优化

CPU推理优化

AVX-512指令集 · MKL-DNN/oneDNN · OpenMP线程绑定

CPU推理优化

FPGA与ASIC加速

FPGA在金融高频交易中的应用 · P4可编程交换机 · ASIC定制芯片

JIT编译与AOT编译

Triton JIT · XLA编译 · TorchScript AOT

性能剖析与火焰图

perf/eBPF/FlameGra… · CPU/GPU/内存热点分析 · 延迟分布直方图

性能剖析火焰图

端到端延迟追踪

OpenTelemetry分布式追踪 · W3C Trace Context · 采样策略与延迟分解

端到端延迟追踪OpenTelemetr…

混沌工程与延迟测试

Chaos Mesh/Litmus · 延迟注入 · 故障演练

混沌工程延迟测试

多模型编排

模型流水线（Pipeline） · DAG执行引擎 · 条件分支与动态路由

多模型编排Pipeline

特征工程优化

在线特征计算 · 特征存储（Feast/Tecton） · 特征缓存与预计算

特征工程优化线特征计算

模型版本管理

模型注册表（MLflow/Model… · 蓝绿部署 · 金丝雀发布

模型版本管理MLflow/Model

安全与合规

模型加密（HE/Secure Enc… · 访问控制 · 审计日志

监控与告警

Prometheus指标暴露 · Grafana仪表盘 · 延迟P99/P999告警

某量化基金低延迟Serving架构 · 从100ms到1ms的优化历程 · 经验教训与最佳实践

案例实战Serving