📚 课程目录第4章 MD5与SHA家族

4、MD5与SHA家族：MD5的碰撞问题、SHA1/SHA256/SHA512的区别、如何选择

聊到一致性校验，哈希算法是绕不开的核心工具。我刚开始做数据校验那会儿，MD5几乎是唯一的选择，速度快、用着顺手。但后来踩过坑，才明白选错哈希算法会带来多大的麻烦。

今天咱们就把MD5和SHA家族彻底聊透。我会结合自己踩过的坑，告诉你哪些算法还能用，哪些已经该进博物馆了。

4.1 MD5：曾经的王者，现在的弃子

MD5（Message Digest Algorithm 5）诞生于1991年，输出128位（16字节）的哈希值。在很长一段时间里，它都是文件校验、密码存储的首选。

核心问题：MD5已经不安全了

2004年，中国密码学家王小云团队宣布找到了MD5的碰撞方法。所谓碰撞，就是两个不同的输入，产生了相同的MD5哈希值。这意味着攻击者可以伪造一个恶意文件，却拥有和合法文件一样的MD5值。

我在2015年参与过一个金融系统的数据迁移项目。当时上游系统坚持用MD5做文件完整性校验，结果测试阶段就发现了一个严重问题：攻击者可以在传输链路中替换文件，而MD5值完全一致。嗯，那次之后，我们连夜把所有接口改成了SHA256。

避坑指南：我曾经见过一些老旧系统还在用MD5做安全校验。如果你遇到这种情况，建议立刻推动升级。MD5现在只适合做非安全场景的快速去重，比如缓存键生成、数据分片等。

4.2 SHA家族：从1到512的进化之路

SHA（Secure Hash Algorithm）是美国国家标准与技术研究院（NIST）发布的一系列哈希算法。目前主流的有SHA-1、SHA-256、SHA-512三个成员。

4.2.1 SHA-1：也快退休了

SHA-1输出160位哈希值，比MD5长一些。但2017年，Google和CWI Amsterdam联合宣布了首个SHA-1碰撞攻击（SHAttered攻击）。

说白了，SHA-1和MD5一样，已经不适合安全场景了。我个人建议，新项目直接跳过SHA-1，别给自己留隐患。

4.2.2 SHA-256：当前的主力选手

SHA-256输出256位哈希值，属于SHA-2家族。目前是业界最广泛使用的安全哈希算法。

输出长度：256位（32字节）
安全强度：128位（抗碰撞）
性能：在64位系统上表现优秀
应用场景：文件校验、数字签名、区块链、SSL/TLS证书

我现在的项目，只要涉及数据完整性校验，默认就是SHA-256。它足够安全，性能也够用，是当前最平衡的选择。

4.2.3 SHA-512：为高性能而生

SHA-512输出512位哈希值，同样是SHA-2家族成员。它和SHA-256的区别不仅仅是输出长度。

特性	SHA-256	SHA-512
输出长度	256位（32字节）	512位（64字节）
安全强度	128位	256位
内部状态	32位字运算	64位字运算
64位CPU性能	良好	更优（利用64位指令）
哈希值存储	较小	较大

你想想看，SHA-512在64位CPU上反而比SHA-256更快，因为它内部使用64位字运算，能充分利用现代CPU的64位指令集。我在做大数据量校验时，如果对哈希值存储空间不敏感，会优先选SHA-512。

4.3 如何选择：一个实用的决策框架

说了这么多，到底该怎么选？我总结了一个简单的决策流程，你可以直接套用。

4.4 实战：代码中的哈希校验

光说不练假把式。下面我给出一个Python示例，展示如何用不同算法计算文件哈希值。

import hashlib

def calculate_hash(file_path, algorithm='sha256'):
    """
    计算文件的哈希值
    :param file_path: 文件路径
    :param algorithm: 算法名称，支持 md5, sha1, sha256, sha512
    :return: 十六进制哈希字符串
    """
    hash_func = hashlib.new(algorithm)
    
    # 分块读取，避免大文件内存溢出
    with open(file_path, 'rb') as f:
        for chunk in iter(lambda: f.read(8192), b''):
            hash_func.update(chunk)
    
    return hash_func.hexdigest()

# 使用示例
file_path = 'data_backup.tar.gz'

# 计算不同算法的哈希值
md5_hash = calculate_hash(file_path, 'md5')
sha1_hash = calculate_hash(file_path, 'sha1')
sha256_hash = calculate_hash(file_path, 'sha256')
sha512_hash = calculate_hash(file_path, 'sha512')

print(f'MD5:   {md5_hash}')
print(f'SHA1:  {sha1_hash}')
print(f'SHA256:{sha256_hash}')
print(f'SHA512:{sha512_hash}')

小技巧：我在做文件校验时，习惯同时计算SHA-256和SHA-512。SHA-256用于快速比对，SHA-512作为最终验证。这样既保证了效率，又提升了安全性。

4.5 避坑指南：我踩过的那些坑

这些年做数据校验，我踩过不少坑。分享几个典型的，希望能帮你少走弯路。

别用MD5做密码存储：我曾经接手过一个遗留系统，用户密码用MD5存储。结果发现彩虹表一查一个准。后来全部迁移到了bcrypt。
SHA-1也不是安全的：2017年之后，SHA-1的碰撞攻击已经实用化。如果你还在用SHA-1做安全校验，赶紧换。
注意大文件的内存问题：计算哈希值时，不要一次性把整个文件读入内存。分块读取是标准做法，上面代码已经展示了。
哈希值比对要防时序攻击：如果哈希值用于安全验证（比如API签名），比对时要用恒定时间比较，避免攻击者通过响应时间推断哈希值。

重要提醒：我曾经在一个安全审计项目中，发现某系统用字符串的==直接比较哈希值。这在安全场景下是危险的。正确的做法是使用hmac.compare_digest()或类似的安全比较函数。

4.6 总结：一张表看清所有选择

算法	输出长度	安全状态	推荐场景	不推荐场景
MD5	128位	已破解	非安全去重、缓存键	安全校验、密码存储
SHA-1	160位	已破解	兼容旧系统（需迁移）	新项目、安全场景
SHA-256	256位	安全	通用安全校验、数字签名	对哈希值大小极度敏感的场景
SHA-512	512位	安全	高性能64位系统、高安全需求	存储空间受限的场景

说白了，选哈希算法就三步：先看要不要安全，再看性能要求，最后看存储限制。我个人习惯是：新项目默认SHA-256，64位系统且不差存储空间就上SHA-512。至于MD5和SHA-1，除非是维护老系统，否则别碰。