2、校验和原理：Checksum 的概念、常见算法与场景对比

聊数据完整性，绕不开一个最基础的概念——校验和（Checksum）。

说白了，校验和就是一种“指纹”。你给一段数据算一个固定长度的值，只要数据变了，这个值大概率也会变。我刚开始做数据同步的时候，总觉得这玩意儿太简单，不就是加加减减嘛。后来线上出过一次事故，才发现越是基础的东西，坑越深。

2.1 什么是校验和？

校验和的核心思想很简单：用少量信息验证大量数据的完整性。发送方计算一个校验值，接收方重新计算，两个值一比对，就知道数据在传输或存储过程中有没有被篡改或损坏。

嗯，这里要注意：校验和不是加密，它不防恶意攻击，只防意外损坏。比如网络传输中的比特翻转、磁盘坏道导致的文件破损，这些场景才是校验和的用武之地。

2.2 常见校验和算法

我这些年用过的校验算法不下十种，但真正在生产环境里站稳脚跟的，其实就三个梯队。咱们一个一个说。

2.2.1 CRC32：硬件级的效率之王

CRC32（循环冗余校验）是我在嵌入式系统和网络协议里用得最多的算法。它的原理是用多项式除法来生成校验值，硬件实现极其高效。

• 输出长度：32 位（4 字节）
• 典型场景：以太网帧校验、ZIP 文件校验、存储设备坏块检测
• 优点：硬件加速、速度快、碰撞率低
• 缺点：抗恶意篡改能力弱，容易被构造碰撞

2.2.2 MD5：曾经的王者，现在的警示

MD5 输出 128 位（16 字节）的哈希值。在 2000 年代初期，它几乎是数据校验的代名词。但 2004 年王小云教授团队宣布了 MD5 的碰撞攻击——两个不同的文件可以算出相同的 MD5 值。

• 输出长度：128 位（16 字节）
• 典型场景：非安全场景的文件完整性校验、旧系统兼容
• 优点：计算速度快、实现广泛
• 缺点：已被证明不安全，存在已知碰撞

2.2.3 SHA1：过渡期的选择

SHA1 输出 160 位（20 字节），比 MD5 更安全一些。但 2017 年 Google 和 CWI 研究所联合公布了 SHA1 的碰撞攻击（SHAttered 攻击），理论上 SHA1 也不再安全。

• 输出长度：160 位（20 字节）
• 典型场景：Git 版本控制（已逐步迁移）、部分旧协议
• 优点：比 MD5 更安全，应用广泛
• 缺点：已被证明存在碰撞，计算速度慢于 MD5

2.3 算法对比表

算法	输出长度	安全性	速度	典型场景
CRC32	32 位	低（无抗碰撞性）	极快（硬件加速）	网络帧、存储校验
MD5	128 位	低（已知碰撞）	快	非安全场景文件校验
SHA1	160 位	中（已知碰撞）	中等	版本控制、旧协议
SHA256	256 位	高（无已知碰撞）	较慢	安全校验、数字签名

2.4 适用场景对比

你想想看，不同的场景对校验和的要求完全不一样。我总结了一个简单的选择逻辑：

1. 纯传输校验（无安全需求）：CRC32 就够了，速度快，硬件支持好。
2. 文件完整性校验（非安全场景）：MD5 或 SHA1 仍然可用，但建议逐步迁移。
3. 安全敏感场景（防篡改）：必须用 SHA256 或更高。
4. 大数据量校验：考虑分块校验，避免一次性加载整个文件。

2.5 校验和的核心逻辑图

下面这张图展示了校验和的基本工作流程，从发送方到接收方的完整链路：

2.6 代码示例：Python 中计算校验和

我平时做原型验证最喜欢用 Python，标准库就覆盖了大部分校验算法。下面是一个简单的对比：

import zlib
import hashlib

data = b"Hello, Data Integrity!"

# CRC32
crc32_val = zlib.crc32(data) & 0xFFFFFFFF
print(f"CRC32:  {crc32_val:08x}")

# MD5
md5_val = hashlib.md5(data).hexdigest()
print(f"MD5:    {md5_val}")

# SHA1
sha1_val = hashlib.sha1(data).hexdigest()
print(f"SHA1:   {sha1_val}")

# SHA256
sha256_val = hashlib.sha256(data).hexdigest()
print(f"SHA256: {sha256_val}")

2.7 避坑指南

最后分享几个我踩过的坑：

• 不要用 CRC32 做安全校验：它只防随机错误，不防恶意篡改。
• MD5 和 SHA1 已经过时：别再用于任何安全敏感场景。
• 注意字节序：不同平台计算 CRC32 时，字节序可能导致结果不一致。
• 校验和不是哈希：虽然原理相似，但校验和通常不要求抗碰撞性。