1. 科学计算文件读写概述

在科学计算中，程序真正处理的数据往往并不来自键盘输入，而是来自磁盘上的文件：实验仪器导出的 CSV、仿真软件生成的二进制结果、气象模型输出的 NetCDF、图像处理得到的 TIFF，以及程序自身需要长期保存的中间结果。文件读写因此成为科学计算流程中连接“数据来源”和“计算模型”的第一道关口。理解科学数据文件的类型、读写流程与校验意义，并熟悉 Python 生态中的常用工具，是后续所有章节的基础。

一、科学数据文件的常见类型

科学数据文件大致可以分为文本型与二进制型两大类，二者在可读性、体积和精度上各有取舍。

文本型文件以字符形式存储数值，典型代表是 CSV、TSV 和纯文本数据表。CSV 用逗号分隔字段，每行一条记录，可以直接用文本编辑器打开检查，便于人工核对和跨工具交换。它的代价是体积大、解析慢，浮点数以十进制字符串保存，反复读写可能引入舍入误差。科学计算中常见的“参数扫描结果表”“实验测量记录”多用此类格式。

二进制型文件直接按字节存储数值，体积小、读写快、能精确保留浮点位模式。NumPy 的 .npy/.npz 是 Python 科学计算中最常用的二进制格式，适合保存数组和中间结果；HDF5（.h5）支持层次化分组、数据集和元数据，适合大规模多维数据；NetCDF 广泛用于气象、海洋和地球科学；Parquet 则是列式存储，适合结构化表格的高效压缩与查询。此外还有仪器厂商自定义的二进制格式，通常需要专用库解析。

选择格式时通常考虑三点：数据是否需要人工查看、数据规模是否很大、是否需要长期归档并保留元数据。小规模、需人工核对的用 CSV；大规模数组用 .npy 或 HDF5；需要携带坐标、单位、时间等描述信息时优先 HDF5 或 NetCDF。

二、读写流程的基本环节

一次完整的文件读写并不是简单的“打开—读取”两步，而是一条包含路径解析、格式识别、数据解析、类型转换、校验和落盘的链路。以读取一个 CSV 为例：程序先确定文件路径是否存在、是否有读权限；然后按指定编码（科学数据中常见 UTF-8，部分仪器导出为 GBK 或 Latin-1）打开文件；接着按分隔符切分字段，把字符串转换为数值类型，遇到缺失值要按约定处理（如空串转为 NaN）；读入后还需检查行列数、数值范围是否符合预期；最后才进入计算环节。写入时顺序相反：先组织好数组或表格，再选择格式、指定编码和精度，写入后最好回读一次确认内容一致。

这条链路上任何一环出错都可能导致“读进来了但数据是错的”，例如编码错误导致中文列名乱码、分隔符不一致导致整行错位、缺失值被误读为 0。因此读写代码应当显式指定关键参数，而不是依赖默认值。

三、校验为什么不可省略

科学计算的结果对输入极其敏感。一个被误读的缺失值、一列错位的温度数据，可能让整条分析链路得出看似合理却完全错误的结论，而且这类错误往往不会抛出异常，程序照常运行、照常出图。校验的意义就在于把“静默错误”变成“显式失败”。

实践中常用的校验手段包括：检查数组形状与预期维度是否一致；检查数值范围是否落在物理合理区间（如温度不在 −273.15 ℃ 以下、浓度不为负）；统计缺失值比例，超过阈值就报警；对关键文件计算 SHA-256 校验和，与归档记录比对以发现传输损坏；写入后立即回读，比较形状、类型和若干抽样值。对于 HDF5、NetCDF 这类带元数据的格式，还应核对单位、坐标轴和时间戳是否与数据匹配。

四、Python 生态工具概览

Python 在科学数据读写方面有成熟的工具链。numpy 提供 loadtxt、savetxt、load、save、savez 等基础函数，是数组读写的核心；pandas 的 read_csv、to_csv、read_parquet 适合表格数据，能自动处理列名、缺失值和类型推断；h5py 与 netCDF4 分别对应 HDF5 和 NetCDF；pyarrow 支撑 Parquet 的高效读写；scipy.io 可读取 MATLAB 的 .mat 文件；Pillow、imageio 处理图像；astropy.io.fits 面向天文 FITS 数据。标准库中的 pathlib、hashlib、csv 则分别承担路径操作、校验和计算与轻量 CSV 解析。

下面是一个带校验的最小读写示例，演示“写入—回读—比对”的闭环：

import numpy as np
from pathlib import Path
import hashlib

path = Path("data/scan_result.npy")
path.parent.mkdir(parents=True, exist_ok=True)

# 示例数据：3 组参数扫描，每组 5 个测量值
arr = np.array([[20.1, 20.3, 19.8, 20.0, 20.2],
                [21.5, 21.7, 21.4, 21.6, 21.5],
                [19.2, 19.4, 19.1, 19.3, 19.2]])

np.save(path, arr)

# 回读并校验
loaded = np.load(path)
assert loaded.shape == arr.shape, "形状不一致"
assert np.allclose(loaded, arr), "数值不一致"
assert loaded.min() > -273.15, "存在物理上不合理的温度值"

digest = hashlib.sha256(path.read_bytes()).hexdigest()
print("形状:", loaded.shape, "校验和:", digest[:16], "...")

这段代码中，np.save 以二进制保存数组，np.load 回读后通过形状、数值和物理范围三重检查确认数据完整，最后计算 SHA-256 作为归档指纹。示例中的数值为教学假设数据，实际使用时替换为真实测量结果即可。