📚 课程目录第4章哈希算法与消息摘要

4. 哈希算法与消息摘要：MD5、SHA系列、SM3，以及实际应用注意点

哈希算法，也叫消息摘要算法，说白了就是把任意长度的数据，通过一个单向函数，压缩成固定长度的指纹。

我刚开始做SDK的时候，觉得这不就是个校验工具嘛，随便选一个用就行。

后来在金融支付项目里，踩了个大坑——选错了算法，导致合规审计不通过。那之后我才认真研究了这些算法的异同。

这一节，咱们就聊聊MD5、SHA系列、SM3，以及在实际封装中该注意什么。

4.1 哈希算法的核心特性

哈希算法有几个硬性要求：

单向性：从摘要反推原始数据，理论上不可行。
抗碰撞性：很难找到两个不同输入，产生相同摘要。
雪崩效应：输入改一个比特，摘要至少一半比特变化。
固定输出长度：不管原始数据多大，输出长度固定。

做SDK的时候，我们通常提供统一接口，让调用方传入算法标识和原始数据，返回摘要。我习惯定义一个枚举：

from enum import Enum

class HashAlgorithm(Enum):
    MD5 = "md5"
    SHA1 = "sha1"
    SHA256 = "sha256"
    SHA512 = "sha512"
    SM3 = "sm3"

4.2 MD5——曾经的主力，今天的坑

MD5输出128位摘要，速度快，但碰撞攻击早在2004年就被攻破了。我当年在文件上传模块里，用MD5做分片校验，结果被测试同学用两个不同文件撞出相同哈希——虽然概率极低，但理论可行就让人不踏实。

现在我的建议是：不要在安全场景里单独用MD5。如果只是做数据去重、非安全校验（比如缓存键），可以用。

注意： 腾讯云、阿里云的部分内部组件至今仍用MD5做快速校验，但只用于非安全用途。如果你的SDK要过等保、金融认证，请直接跳过MD5。

4.3 SHA系列——从SHA-1到SHA-3

SHA系列是美国国家标准与技术研究院（NIST）发布的。

算法	输出长度	安全状态	实际推荐
SHA-1	160位	已被碰撞攻击（2017年Google实现）	❌ 不推荐
SHA-224/256	224/256位	目前安全	✅ 推荐（通用场景）
SHA-384/512	384/512位	目前安全	✅ 推荐（高安全场景）
SHA-3	224~512位	目前安全，结构不同	✅ 可作为未来储备

我个人习惯：无特殊要求就用SHA-256。速度快，安全余量足够。在Python里直接用hashlib就好。

import hashlib

def hash_data(algorithm: str, data: bytes) -> str:
    if algorithm == "sha256":
        h = hashlib.sha256(data)
    elif algorithm == "sha512":
        h = hashlib.sha512(data)
    elif algorithm == "sm3":
        # 需要第三方库，如 pysmx 或 gmssl
        from pysmx import SM3
        sm3 = SM3()
        sm3.update(data)
        return sm3.hexdigest()
    else:
        raise ValueError(f"Unsupported algorithm: {algorithm}")
    return h.hexdigest()

小技巧： 如果你的SDK要跨平台，尽量用hashlib原生支持SHA-2系列，避免额外依赖。SM3可以做成可选插件，按需安装。

4.4 SM3——国密标准，合规必备

SM3是我国商用密码标准（GM/T 0004-2012），输出256位，结构类似SHA-256但内部轮数不同。金融、政务、医疗等领域的SDK基本绕不开它。

我曾参与过一个银行网银SDK的改造，对方要求全套国密算法。SM3作为消息摘要，必须支持。

Python实现推荐用gmssl或pysmx，但要注意：

有些环境不能随意装第三方库（比如内网服务器）。
可以预编译成独立whl，或者提供纯Python回退实现（速度慢，但保底）。

我通常把SM3封装成一个单独的模块，通过接口适配器注入，不直接耦合在核心代码里。

4.5 实际应用避坑指南

这里我总结几个当年流血流泪才记住的点：

数据编码要统一
我曾经被坑过：客户端用UTF-8计算哈希，服务端用GBK，结果签名对不上。SDK里要强制声明编码，比如统一UTF-8。
不要直接用密码明文的哈希
用户密码存库，一定要加盐（salt）。否则彩虹表分分钟破掉。我习惯用hashlib.pbkdf2_hmac做密码哈希。

性能考虑

大文件（比如GB级）不要一次性读入内存。用分块读取，每块更新摘要对象。流式接口设计：

def hash_file(algorithm: str, filepath: str, chunk_size=8192) -> str:
    h = get_hash_instance(algorithm)
    with open(filepath, 'rb') as f:
        while chunk := f.read(chunk_size):
            h.update(chunk)
    return h.hexdigest()

算法可解析性
SDK最好在输出摘要前加上算法标识前缀，比如"sha256$" + 摘要。这样后面验证时能自动知道用哪个算法。我见过太多因为协议里没写算法导致升级兼容性爆炸的案例。
SM3的硬件加速
很多CPU现在支持SM3指令集（如海光、飞腾），但Python标准库没有。如果你做高性能SDK，可以考虑用C扩展或ctypes调用openssl国密模块。

核心原则： 哈希算法封装，要关注“可替换”和“可配置”。不要在代码里硬编码hashlib.md5()，做成策略模式。这样哪天算法退役，改一行配置就行。

4.6 总结

这一节我们把MD5、SHA系列、SM3都过了一遍。

说白了：MD5只适合非安全校验，SHA-256是万金油，SM3是合规护身符。

在SDK封装时，我反复提醒自己——把算法当做可插拔的零件，而不是焊死的水管。这样你的SDK才能适应各种加密场景，不会因为甲方一句“我们要过国密”就要重写。