VIP20
本课程属于：001-Python与MATLAB科学计算工程 数学计算科学计算与计算物理工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

科学计算数据格式转换与互操作

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与科学数据全景
科学计算数据格式的多样性（文本 · 二进制 · 自描述
课程导入科学数据全景
02
科学数据格式分类与核心特征
按存储模型（行/列/数组/层次） · 元数据能力 · 压缩与分块
科学数据格式分类核心特征
03
文本格式解析与转换实战
CSV/TSV/JSON的编码 · 分隔符 · 缺失值处理
文本格式解析转换实战
04
二进制格式基础与NumPy数组持久化
.npy/.npz格式结构 · 字节序 · 内存布局
NumPy二进制格式基础
05
HDF5格式深入与层次化数据组织
文件结构 · 数据集 · 组
HDF5格式深入
06
NetCDF与气候科学数据互操作
NetCDF经典格式与NetCDF4… · 维度坐标 · CF约定
NetCDF气候科学数据互操…
07
Zarr与云优化数组存储
分块存储 · 压缩器 · 并行读写
Zarr云优化数组存储
08
Parquet与列式科学表格数据
模式演化 · 嵌套类型 · 谓词下推
Parquet列式科学表格数据
09
元数据映射与语义互操作
单位 · 坐标系 · 时间编码
元数据映射语义互操作
10
科学数据格式转换中的精度与类型安全
整型/浮点精度 · 溢出 · NaN与缺失值表示
科学数据格式转换精度
11
大规模数组的分块转换与内存管理
分块读写 · 流式处理 · 内存映射
大规模数组的分块…内存管理
12
并行与分布式转换实战
使用Dask对多文件NetCDF/C… · 处理任务图优化与容错
并行分布式转换实战
13
科学图像与网格数据格式互操作
TIFF/PNG与NumPy数组 · VTK网格格式简介 · 实现图像堆栈到HDF5数据集的转换与…
科学图像网格数据格式互操…
14
时间序列数据格式转换
从CSV到Parquet/NetCD… · 时区处理与重采样 · 构建统一时间序列存储
时间序列数据格式…CSV
15
稀疏矩阵格式转换与互操作
COO/CSC/CSR与Matrix… · 使用SciPy实现稀疏矩阵在文本与二…
稀疏矩阵格式转换互操作
16
科学计算工作流中的格式适配
从仿真输出（如VTK · Exodus）到分析就绪格式（Par… · Zarr）的管道设计
科学计算工作流格式适配
17
格式转换验证与数据完整性检查
校验和 · 模式验证 · 统计对比
格式转换验证数据完整性检查
18
互操作性能基准与优化
对比不同格式的读写速度 · 压缩率与CPU开销 · 使用asv进行基准测试并给出选型建议
互操作性能基准优化
19
跨语言数据交换与FFI
Python与C/Fortran之间… · 使用ctypes/cffi实现零拷贝…
FFI跨语言数据交换
20
科学数据格式的版本演化与向后兼容
处理HDF5/NetCDF版本差异 · Parquet模式演化 · 设计兼容性转换层
科学数据格式的版…向后兼容
21
云原生科学数据互操作
对象存储上的Zarr/Parquet… · HTTP范围请求 · 实现本地HDF5到云Zarr的迁移与…
云原生科学数据互…Zarr/Parquet
22
数据库与科学格式的桥接
将SQL查询结果导出为Parquet… · 使用SQLAlchemy与panda…
数据库科学格式的桥接
23
领域专用格式转换案例
从气象GRIB到NetCDF · 从遥感GeoTIFF到Zarr的转换… · rioxarray）
领域专用格式转换…GRIB
24
元数据标准与互操作规范
CF · ACDD · STAC等标准在格式转换中的应用
元数据标准互操作规范
25
转换管道的错误处理与日志
异常分类 · 重试策略 · 数据质量报告
转换管道的错误处…日志
26
交互式数据转换工具开发
使用Panel/Dash构建格式转换… · 集成文件上传 · 格式选择与转换结果下载
交互式数据转换工…Panel/Dash
27
科学数据格式转换的安全与权限
敏感数据脱敏 · 访问控制 · 加密存储
科学数据格式转换…权限
28
端到端项目
多源科学数据统一互操作平台 · HDF5 · NetCDF
端到端项目多源科学数据统一…
29
格式转换的可持续性与社区实践
开源工具链（GDAL · h5py · xarray
格式转换的可持续…社区实践
30
课程总结与前沿展望
回顾核心转换模式 · 探讨新兴格式（如Lance · Icechunk）与互操作标准的发展…
课程总结前沿展望