1. 稀疏计算概述：为什么稀疏计算对硬件加速如此重要？
各位同学，咱们今天聊聊稀疏计算。说实话，我刚入行那会儿，觉得稀疏矩阵就是个存储技巧，没啥大不了的。直到后来做了一款AI加速芯片，才被现实狠狠教育了一顿。
你想想看，现在的神经网络模型，动不动就上亿参数。但这里面有多少是真正有用的？我见过一个BERT模型，注意力矩阵里超过90%的元素都是零。如果老老实实做密集计算，那得浪费多少算力和功耗？
核心观点：稀疏计算不是锦上添花，而是硬件加速的必选项。尤其在AI推理、图计算、科学仿真领域，稀疏性无处不在。
1.1 稀疏矩阵的定义
稀疏矩阵，说白了就是大部分元素都是零的矩阵。那问题来了——多稀疏才算稀疏？
业内有个经验法则：零元素占比超过50%，就可以考虑用稀疏格式了。但我个人习惯，低于70%的零占比，用密集格式反而更快。为什么？因为稀疏格式有额外的索引开销。
| 稀疏度 | 零元素占比 | 推荐做法 |
|---|---|---|
| 低稀疏 | < 50% | 密集格式 |
| 中稀疏 | 50% - 90% | 视情况而定 |
| 高稀疏 | > 90% | 必须用稀疏格式 |
我的经验：在硬件设计中，90%以上的稀疏度才值得专门做加速单元。低于这个阈值，用密集计算加上简单的跳过逻辑，性价比更高。
1.2 为什么硬件加速必须拥抱稀疏性？
这里有几个硬核理由：
- 带宽瓶颈——现代芯片的算力增长远超内存带宽。稀疏计算能大幅减少数据搬运量。
- 功耗墙——每次乘法累加操作都在消耗能量。跳过零操作，直接省电。
- 存储效率——只存非零元素，省下来的片上SRAM可以做更多事。
我记得有一次做芯片评估，密集方案需要32MB的片上缓存，换成CSR格式后，只用了4MB。这差距，你品品。
注意：稀疏加速不是免费的午餐。索引计算、不规则访存、负载不均衡，这些都是硬件设计要啃的硬骨头。我曾经在一个项目里，因为没处理好负载均衡，加速器利用率不到30%。
1.3 三种主流稀疏存储格式
下面我带你看看三种最常用的格式。每种我都踩过坑，咱们一个一个说。
1.3.1 COO（坐标格式）
COO是最直观的格式。每个非零元素存三样东西：行号、列号、数值。
// 示例：3x3矩阵，非零元素在(0,0)=1, (1,2)=2, (2,1)=3
rows = [0, 1, 2]
cols = [0, 2, 1]
values = [1, 2, 3]优点：构建简单，适合动态修改。
缺点：存储开销大，每个元素都要存行列索引。
我在做图计算加速器时，COO格式用得比较多。因为图结构经常变化，COO的灵活性正好派上用场。
1.3.2 CSR（压缩行存储）
CSR是工业界最常用的格式。它把行索引压缩了，只存每行起始位置。
// 同样的矩阵
row_ptr = [0, 1, 2, 3] // 每行第一个非零元素在values中的位置
col_idx = [0, 2, 1] // 列索引
values = [1, 2, 3] // 数值优点：行访问高效，存储紧凑。
缺点：列访问慢，修改代价高。
避坑指南：我曾经在CSR格式上吃过亏——做矩阵乘法时，频繁访问列数据，结果CSR的列访问性能惨不忍睹。后来换成CSC，性能直接翻倍。
1.3.3 CSC（压缩列存储）
CSC和CSR是对称的，按列压缩。
// 同样的矩阵
col_ptr = [0, 1, 2, 3] // 每列第一个非零元素在values中的位置
row_idx = [0, 2, 1] // 行索引
values = [1, 3, 2] // 数值优点：列访问高效。
缺点：行访问慢。
1.4 三种格式对比
| 特性 | COO | CSR | CSC |
|---|---|---|---|
| 存储开销 | 高（2个索引/元素） | 中（1个索引/元素 + 行指针） | 中（1个索引/元素 + 列指针） |
| 行访问 | 慢 | 快 | 慢 |
| 列访问 | 慢 | 慢 | 快 |
| 矩阵构建 | 快 | 慢 | 慢 |
| 硬件友好度 | 中 | 高 | 高 |
1.5 稀疏计算的核心逻辑
下面这张图，是我做课程时特意画的。它展示了稀疏计算从数据到加速的完整链路。
1.6 硬件设计中的格式选择策略
在实际项目中，我一般这样选：
- 推理芯片：CSR是首选。模型权重固定，行访问模式多，CSR的硬件实现也最成熟。
- 图计算芯片：COO更合适。图结构动态变化，COO的构建开销最小。
- 科学计算：看算法。有限元分析用CSR，稀疏线性求解器用CSC。
重要提醒：别在硬件里直接做格式转换！我见过一个团队，在芯片里实现了CSR到CSC的转换逻辑，结果面积增加了15%，性能反而下降了。格式转换应该在软件预处理阶段完成。
1.7 小结
稀疏计算的核心就三件事：识别稀疏性、选择格式、设计加速器。格式选对了，事半功倍；选错了，硬件再强也白搭。
嗯，这一章就到这里。记住，稀疏不是缺陷，而是机会。用好它，你的硬件加速器就能在性能和效率上甩开对手几条街。