VIP15
本课程属于：034-金融数据采集与行情接口 智能金融与金融工程 · 共 15 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Market Data多源去重与主键设计实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=学习目标 · 核心概念 · 整体框架
课程导入目标=学习目标
02
Market Data基础
目标=行情数据分类 · 常见数据源 · 数据格式与传输协议
MarketData
03
多源数据挑战
目标=数据源差异 · 时间戳偏差 · 字段映射
多源数据挑战目标=数据源差异
04
去重核心概念
目标=重复定义 · 精确去重与模糊去重 · 去重粒度与业务影响
去重核心概念目标=重复定义
05
主键设计基础
目标=主键作用 · 候选键 · 复合键
主键设计基础目标=主键作用
06
数据建模方法
目标=维度建模 · 事实表与维度表 · 缓慢变化维处理
数据建模方法目标=维度建模
07
数据质量评估
目标=完整性 · 准确性 · 一致性
数据质量评估目标=完整性
08
数据剖析技术
目标=字段统计 · 值分布 · 唯一性分析
数据剖析技术目标=字段统计
09
去重流程设计
目标=数据采集 · 清洗 · 标准化
去重流程设计目标=数据采集
10
标准化与规范化
目标=时间格式统一 · 代码映射 · 单位转换
标准化规范化
11
精确匹配去重
目标=哈希算法 · 排序合并 · 数据库唯一约束
精确匹配去重目标=哈希算法
12
模糊匹配去重
目标=编辑距离 · Jaro-Winkler · Soundex
模糊匹配去重目标=编辑距离
13
主键生成策略
目标=自增 · UUID · 雪花算法
主键生成策略目标=自增
14
多源主键映射
目标=源系统主键 · 全局主键 · 映射表设计与维护
多源主键映射目标=源系统主键
15
时间序列去重
目标=基于时间窗口 · 最新优先 · 版本控制
时间序列去重目标=基于时间窗…
16
实时去重架构
目标=流处理 · 消息队列 · 状态存储
实时去重架构目标=流处理
17
批处理去重架构
目标=MapReduce · Spark · 分区与分桶优化
批处理去重架构MapReduce
18
案例实战一
目标=股票行情多源去重与主键设计
案例实战一目标=股票行情多…
19
案例实战二
目标=加密货币交易所数据聚合去重
案例实战二目标=加密货币交…
20
案例实战三
目标=外汇与期货数据跨市场整合
案例实战三目标=外汇
21
常见问题与陷阱
目标=时钟漂移 · 数据延迟 · 重复上报
常见问题陷阱
22
性能优化
目标=索引策略 · 并行处理 · 内存管理
性能优化目标=索引策略
23
数据治理与合规
目标=数据血缘 · 审计追踪 · 隐私保护
数据治理合规
24
监控与告警
目标=去重率监控 · 主键唯一性检查 · 数据质量仪表盘
监控告警
25
测试与验证
目标=单元测试 · 集成测试 · 数据对比
测试验证
26
工具与平台
目标=Apache Spark · Flink · Kafka
工具平台
27
综合提升一
目标=设计高可用多源去重系统
综合提升一目标=设计高可用…
28
综合提升二
目标=主键设计模式与反模式
综合提升二目标=主键设计模…
29
综合提升三
目标=从去重到实体解析与主数据管理
综合提升三目标=从去重到实…
30
课程总结与展望
目标=知识回顾 · 最佳实践 · 未来趋势与学习资源
课程总结目标=知识回顾