1. 课程导入与问题界定

在科研计算中，“数据太大”往往不是一句笼统的抱怨，而是一组可以量化的具体约束。以一台常规计算节点为例：假设它有 64 GB 内存、16 个物理核心，需要处理一份 200 GB 的观测数据文件。若直接读取整份数据，仅原始字节就超出内存容量三倍以上，程序会在读取阶段因内存不足而失败；即便数据能勉强装入内存，单线程逐条处理 200 GB 也可能耗时数小时到数十小时。分块处理要解决的核心问题，就是把一份超出单次处理能力的数据，切分成若干可独立处理、结果可正确合并的片段，从而在有限内存与有限时间内完成计算。

先界定本课程讨论的对象。大规模科研数据通常具备四个特征：体量大（单文件从数十 GB 到 TB 级）、结构复杂（二进制观测记录、多维数组、带表头的文本、混合编码的日志等）、记录间存在依赖（时间序列相邻点相关、空间网格边界相邻、样本需要全局统计量归一化）、处理流程长（读取、清洗、变换、聚合、写出多个阶段）。这四个特征决定了分块不能简单等同于“按字节切开”：切分位置必须尊重记录边界，块大小必须与内存预算匹配，块间依赖必须通过重叠、缓存或两遍扫描来显式处理。

下面这张图把本节最关键的判断关系集中呈现出来：一份数据在进入处理前，先根据“能否整体装入内存”和“记录间是否存在跨块依赖”两个维度分流，得到四种典型处理策略。它也是后续各章展开的技术地图。

图中右下角的“重叠/两遍扫描”分支值得展开。以计算一份 200 GB 时间序列的滑动窗口均值为例，窗口宽度为 101 个采样点。若把数据切成 10 个 20 GB 的块，每块独立计算窗口均值，则在块边界处会有 100 个点的窗口缺少前一块的尾部数据，结果出现缺口。正确做法有两种：一是让相邻块各向两侧多读 50 个点作为重叠区，计算后丢弃重叠区的输出；二是第一遍扫描只累计全局均值和样本数，第二遍再按块计算偏差。前者实现简单但增加约 0.5% 的重复读取，后者读取两遍但每块内存占用更小。选择哪一种，取决于 I/O 成本与内存约束的相对紧张程度，这正是本课程要训练的判断能力。

再看一个更贴近实操的示例。假设有一份 CSV 格式的粒子模拟输出，每行一条记录，字段为 step,id,x,y,z,energy，文件 80 GB，目标统计每个 step 的平均能量。若按固定 512 MB 字节数切分，很可能在某行中间截断，导致解析失败。稳妥的做法是按行读取并累积字节数，达到阈值后关闭当前块、从下一行开始新块，示例逻辑如下：

chunk_limit = 512 * 1024 * 1024   # 每块约 512 MB
buf, size, idx = [], 0, 0
for line in open("particles.csv"):
    buf.append(line); size += len(line.encode())
    if size >= chunk_limit:
        process_chunk(buf, idx)   # 块内按 step 聚合 energy 的 sum 与 count
        buf, size, idx = [], 0, idx + 1
if buf: process_chunk(buf, idx)
# 合并：对每个 step 求 sum/count，得到全局平均能量

这段代码体现了两个关键点：切分点落在行边界上，保证每条记录完整；块内只保留可加量（能量和、记录数），合并阶段再做除法，避免“先算块均值再平均”这种错误做法——后者在块大小不等时会产生偏差。判断结果是否正确，可以用一个简单校验：把同一份小规模样例数据分别用整体处理和分块处理跑一遍，比较每个 step 的平均能量，若差异在浮点误差范围内（例如相对误差小于 1e-9），说明分块与合并逻辑正确。

本课程的目标由此可以明确表述为三层能力。第一层是判断能力：面对一份数据，能根据体量、结构、依赖关系判断是否需要分块、采用哪种分块策略。第二层是实现能力：能写出边界安全、内存可控的分块读取与处理代码，正确处理文件格式、编码、压缩与记录边界。第三层是验证与优化能力：能设计小规模对照实验验证结果正确性，能通过调整块大小、并行度、I/O 方式改善吞吐，并能定位内存溢出、结果偏差、块间重复计算等典型问题。

学习路径按“先看清问题，再掌握手段，最后形成工程习惯”组织。前半程聚焦数据侧：科研数据的常见格式与读取方式、内存占用的估算方法、分块边界的识别与切分实现。中段聚焦计算侧：块内聚合与块间合并的正确性规则、重叠区与两遍扫描、并行分块的任务划分与结果归并。后段聚焦工程侧：分块流水线的组织、中间结果的落盘与恢复、性能观测指标（吞吐、峰值内存、块耗时分布）的读取与调优。每一章都会围绕真实的数据形态和处理任务展开，示例参数均标注为教学假设，读者应结合自己的数据规模重新估算。