MD5 算法原理：从历史到核心细节

说起 MD5，我最早接触它是在十多年前做文件完整性校验的时候。那时候网速慢，下载个大文件动不动就断，MD5 值一比对就知道文件有没有坏。说实话，那时候我只当它是个黑盒子，直到后来项目里遇到哈希碰撞的问题，才逼着自己把原理啃了一遍。

MD5 全称是 Message-Digest Algorithm 5，由 Ronald Rivest 在 1991 年设计。它属于 MD 系列（MD2、MD4、MD5）的改进版，主要目标是比 MD4 更安全——但也只是相对而言。现在大家都知道 MD5 已被攻破，但在一些非安全场景（比如校验数据完整性、去重）里仍然很常用。我用它做过多批次结果校验，够快，也够用。

MD5 的历史小回顾

MD5 的诞生其实挺有意思。MD4 出来后很快被发现存在碰撞漏洞，Rivest 教授就在 MD4 基础上加了第四轮，并把每步的移位常数改了改，搞出了 MD5。我早期在做一个日志归档系统时，为了压榨性能试过 MD4，结果发现它实在太弱——两个不同数据在很短长度下就能撞上。嗯，从那以后我老老实实用 MD5 了。

MD5 在 1996 年首次被确认存在碰撞漏洞，2004 年王小云团队给出了真正实用的碰撞例子。不过这不意味着 MD5 就一无是处。如果你只是做数据完整性校验，或者对碰撞不敏感（比如比对自己的批次结果），MD5 仍然是一个极其简单且高效的选择。我个人习惯上，只要不是涉及密码学的场景，MD5 依然是我第一顺位的校验算法。

MD5 的计算过程：四个关键步

MD5 的核心思想很简单：把任意长度的输入，通过一系列操作，变成 128 位（16 字节）的固定输出。流程拆开来就是填充、分块、初始化缓冲区、四轮循环。咱们一个个说。

1. 填充（Padding）

MD5 要求输入的数据长度（按位计）必须是 512 的整数倍。如果不够怎么办？填充。规则很简单：

• 先在数据末尾补一个 1 位。
• 然后补 0，直到长度模 512 等于 448。
• 最后用 64 位表示原始数据的长度（小端序）。

为什么要留 64 位给长度？因为这样无论原数据多长，填充后长度都是 512 的整数倍。我在几次测试中发现，即使数据长度为 0，填充后也会生成一个 512 位的块。

2. 分块（Block Splitting）

填充后的数据被切成 N 个 512 位（64 字节）的块。每一块又会被分成 16 个 32 位整数（小端序）。

MD5 会按顺序处理每个块，上一个块的处理结果会影响下一个块。正是这种链式结构，让哪怕只改一个 bit，最后的摘要也会天翻地覆。

3. 初始化缓冲区

MD5 使用 4 个 32 位寄存器，称为 A、B、C、D。初始值是固定的：

寄存器	初始值（十六进制）
A	0x67452301
B	0xEFCDAB89
C	0x98BADCFE
D	0x10325476

这四个值就是 MD5 的「种子」。我每次看这个表都觉得，设计者选这些常数是故意的——它们看起来像随机数，其实是为了保证初始状态没有规律。

4. 四轮循环与轮函数

每个 512 位块要经过 4 轮处理，每轮 16 步，共 64 步。每步都用一个非线性函数 F、G、H、I 对 A、B、C、D 进行运算，再加上当前块的某个 32 位字和一个常数，最后循环左移。

四个轮函数分别是：

• 第一轮（F 函数）： F(B,C,D) = (B & C) | (~B & D) —— 按位选择。
• 第二轮（G 函数）： G(B,C,D) = (B & D) | (C & ~D) —— 也是选择，但顺序不同。
• 第三轮（H 函数）： H(B,C,D) = B ^ C ^ D —— 按位异或。
• 第四轮（I 函数）： I(B,C,D) = C ^ (B | ~D) —— 按位与异或混合。

这四轮函数本质上都是把输入位打乱，产生非线性的效果。我曾经尝试手算过一次（纯粹因为好奇），发现每一轮都会把 A、B、C、D 的状态搅得天翻地覆。64 步下来，原始数据的任何微小差异都会被放大到整个 128 位摘要中。

输出 128 位摘要

所有块处理完后，最终 A、B、C、D 的 32 位拼接起来就是 128 位的摘要。通常我们用 32 个十六进制字符表示（比如 d41d8cd98f00b204e9800998ecf8427e 就是空字符串的 MD5）。

我在实际项目中经常用 Python 快速验证：

import hashlib
data = b"hello world"
md5_val = hashlib.md5(data).hexdigest()
print(md5_val)  # 输出: 5eb63bbbe01eeed093cb22bb8f5acdc3

注意：hashlib.md5() 返回的是 16 字节的 bytes，hexdigest() 转成 32 字符的十六进制串。这就是咱们做多批次结果校验时最常用的表达方式。

MD5 的特点

128 位 → 碰撞概率有多大？理论上 2^64 次尝试就能找到一对碰撞（因为生日攻击）。但实际应用中，如果只是比对自己生成的批次结果，碰撞概率几乎可以忽略。我经常对团队说：MD5 在性能上远优于 SHA256，在非安全场景下是性价比最高的选择。

一点个人经验：在做海量文件校验时，MD5 的 128 位输出在数据库里很好索引，64 位存储（两列 INT）就能放下，比 SHA256 省一半空间。当然，如果你做的是安全校验（比如签名），请直接上 SHA256 或更高。