VIP20
本课程属于：005-科学数据分析与计算可视化 数学计算科学计算与计算物理工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大规模科研数据分块处理

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与问题界定
大规模科研数据的特征 · 分块处理的必要性 · 课程目标与学习路径
课程导入问题界定
02
科研数据分块的核心概念
数据块 · 分块粒度 · 块边界
科研数据分块的核…数据块
03
分块处理的技术栈概览
存储格式 · 计算框架 · 调度工具与编程接口在分块流程中的角色…
分块处理的技术栈…存储格式
04
数据剖析与分块策略选择
基于数据规模 · 访问模式与计算任务特征确定分块维度与…
数据剖析分块策略选择
05
固定大小分块与滑动窗口分块
原理 · 适用场景 · 边界效应及在时间序列与图像数据中的实…
固定大小分块滑动窗口分块
06
基于键值与哈希的分块
哈希函数选择 · 数据倾斜避免 · 块定位与一致性哈希在分布式环境中的应…
基于键值哈希的分块
07
范围分块与排序分块
有序数据的分区边界确定 · 负载均衡与范围查询优化
范围分块排序分块
08
层次化与自适应分块
多级块结构 · 动态块大小调整 · 基于数据分布的自适应划分方法
层次化自适应分块
09
分块元数据设计与管理
块索引 · 块统计信息 · 数据血缘与元数据存储方案
分块元数据设计管理
10
分块存储格式实战
Parquet · ORC · HDF5
分块存储格式实战Parquet
11
分块压缩与编码
块级压缩算法选择 · 编码方式对 I/O 与计算的影响 · 压缩比与速度权衡
分块压缩编码
12
分块读取与缓存策略
块预取 · 缓存淘汰 · 局部性利用与远程存储访问优化
分块读取缓存策略
13
分块写入与追加更新
块追加 · 块合并 · 小文件问题与写入放大控制
分块写入追加更新
14
分块数据的容错与恢复
块校验 · 副本放置 · 故障检测与块级重建机制
分块数据的容错恢复
15
分块任务调度与负载均衡
任务划分 · 块到工作节点的映射 · 动态负载均衡与 straggler…
分块任务调度负载均衡
16
分块并行计算模型
MapReduce · DAG · BSP 在分块处理中的适用性与编程抽…
分块并行计算模型MapReduce
17
分块聚合与全局统计
块内聚合 · 跨块合并 · 近似算法与精确计算的取舍
分块聚合全局统计
18
分块连接与协同分析
块级连接策略 · 广播连接 · 分块 shuffle 与数据重分布
分块连接协同分析
19
分块迭代计算与机器学习
块缓存 · 参数服务器 · 增量更新与迭代收敛控制
分块迭代计算机器学习
20
流式数据分块处理
窗口划分 · 水位线 · 乱序处理与实时分块聚合
流式数据分块处理窗口划分
21
异构数据源分块集成
多源数据分块对齐 · 模式映射与块级数据融合
异构数据源分块集…多源数据分块对齐
22
分块处理性能剖析
I/O 瓶颈 · 计算瓶颈 · 网络瓶颈的识别与分块参数调优
分块处理性能剖析I/O
23
分块大小与并行度的联合优化
实验设计 · 指标采集与参数搜索方法
分块大小并行度的联合优化
24
分块数据质量与一致性
块边界完整性 · 重复块检测 · 一致性校验与修复流程
分块数据质量一致性
25
分块安全与访问控制
块级加密 · 权限模型 · 审计日志与隐私保护
分块安全访问控制
26
真实科研案例一
高能物理事件数据的分块存储与并行分析…
真实科研案例一高能物理事件数据…
27
真实科研案例二
遥感影像金字塔分块与区域查询优化实战
真实科研案例二遥感影像金字塔分…
28
真实科研案例三
基因组序列数据的分块比对与变异检测流…
真实科研案例三基因组序列数据的…
29
分块处理流水线的工程化
容器化部署 · 工作流编排 · 监控告警与持续集成
分块处理流水线的…容器化部署
30
课程综合实战与前沿展望
端到端分块处理项目设计 · 性能评估报告撰写与新兴技术趋势
课程综合实战前沿展望