VIP20
本课程属于：101-逐笔成交特征工程实战 金融科技风控与量化工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

逐笔特征批量计算与流水线部署

共计 30 章节
可可资料掘金营 · 点击在线试看
01
逐笔数据与特征工程概览
逐笔成交与委托数据的结构 · 特征计算在量化研究中的位置 · 批量计算与流水线部署的整体目标与挑战
逐笔数据特征工程概览
02
逐笔数据解析与标准化
常见逐笔数据格式（Level-2 · 逐笔委托 · 逐笔成交）
逐笔数据解析标准化
03
特征计算任务定义与拆解
从业务需求到特征清单 · 单笔特征与窗口特征的区别 · 计算依赖图构建
特征计算任务定义拆解
04
批量计算框架选型与对比
向量化计算 · 多进程 · 分布式计算框架（如Dask
批量计算框架选型对比
05
逐笔特征计算核心算子实现
滑动窗口统计 · 滚动聚合 · 时序差分
逐笔特征计算核心…滑动窗口统计
06
高频特征计算的内存管理
逐笔数据的分块读取 · 内存映射 · 流式处理与垃圾回收策略
高频特征计算的内…逐笔数据的分块读…
07
并行计算任务调度设计
任务切分 · 依赖管理 · 并发控制
并行计算任务调度…任务切分
08
特征计算结果存储与版本管理
列式存储（Parquet） · 特征版本控制 · 元数据管理
特征计算结果存储版本管理
09
批量计算流水线编排基础
流水线定义 · 阶段划分 · 参数传递
批量计算流水线编…流水线定义
10
逐笔特征流水线的容器化封装
Docker镜像构建 · 依赖隔离 · 环境一致性
逐笔特征流水线的…Docker
11
流水线部署与资源编排
Kubernetes基础概念 · Pod与Job编排 · 资源请求与限制
流水线部署资源编排
12
流水线监控与日志收集
关键指标定义（吞吐量 · 延迟 · 失败率）
流水线监控日志收集
13
特征计算正确性验证
单元测试设计 · 特征值抽样比对 · 边界条件测试
特征计算正确性验…单元测试设计
14
性能基准测试与调优
基准测试方案设计 · 瓶颈定位（CPU · IO
性能基准测试调优
15
实战
单机多进程批量计算逐笔特征 · 实现一个完整的单机批量计算流程 · 并评估性能
单机多进程批量计…实现一个完整的单…
16
实战
分布式逐笔特征计算流水线 · 处理大规模逐笔数据 · 并集成到工作流中
分布式逐笔特征计…处理大规模逐笔数…
17
实战
容器化特征计算服务部署 · 部署到Kubernetes集群 · 并配置资源与自动扩缩容
容器化特征计算服…Kubernetes
18
实战
流水线监控与告警集成 · Grafana看板与告警规则 · 实现可观测性
流水线监控告警集成
19
特征流水线的CI/CD集成
代码仓库管理 · 自动化测试 · 镜像构建流水线
CI/CD特征流水线的
20
逐笔特征流水线的容错与恢复
故障场景分析 · 检查点机制 · 任务重试与幂等设计
逐笔特征流水线的…恢复
21
特征计算资源成本优化
计算资源评估 · 弹性伸缩策略 · Spot实例利用
特征计算资源成本…计算资源评估
22
流水线安全与权限管理
数据访问控制 · 镜像安全扫描 · 密钥管理
流水线安全权限管理
23
特征计算流水线的扩展性设计
插件化架构 · 自定义算子接入 · 多数据源适配
特征计算流水线的…插件化架构
24
实时与批量特征计算融合
流批一体架构 · 实时特征计算与批量特征计算的一致性 · Lambda与Kappa架构对比
实时批量特征计算融合
25
特征存储与在线服务对接
特征存储（Feature Store… · 离线特征导入在线存储 · 低延迟特征 serving 的工程实…
特征存储线服务对接
26
实战
端到端逐笔特征流水线项目（一） · 数据流 · 技术栈
端到端逐笔特征流…数据流
27
实战
端到端逐笔特征流水线项目（二） · 完成单元测试与性能测试
端到端逐笔特征流…完成单元测试
28
实战
端到端逐笔特征流水线项目（三） · 构建Docker镜像 · 编写Kubernetes部署文件
端到端逐笔特征流…Docker
29
实战
端到端逐笔特征流水线项目（四）：部署 · 监控与优化：在集群中部署流水线 · 配置监控告警
端到端逐笔特征流…部署
30
课程总结与进阶方向
回顾核心知识点与实战经验 · 讨论流水线部署的最佳实践 · 常见陷阱与未来演进方向
课程总结进阶方向