1. 课程导入
在AI边缘计算与数据中心推理场景中，算能（Sophgo）系列TPU（Tensor Processing Unit）凭借其高能效比、灵活的INT8/FP16混合精度支持以及成熟的工具链，已成为国产AI芯片中不可忽视的力量。无论是BM1684X、BM1688还是最新的SG2300系列，其核心工作模式并非直接运行PyTorch或TensorFlow的原生模型，而是需要通过一套标准化的编译与量化流程，将训练好的浮点模型转换为TPU可高效执行的二进制指令流（BModel）。本章作为整个课程的开篇，将系统梳理算能TPU的定位、模型转换的标准流水线，并深入剖析FP32、FP16与INT8三种精度的数学本质、存储代价与适用边界，为后续章节的算子映射、量化校准和性能调优打下坚实基础。
1.1 算能TPU的定位与硬件特性
算能科技专注于AI算力芯片的研发，其TPU产品线覆盖从端侧（如SG2002）、边缘侧（BM1684X、BM1688）到数据中心（SG2300）的完整场景。与GPU不同，TPU采用SIMD（单指令多数据）与脉动阵列混合架构，对卷积、矩阵乘等规整算子有极高的计算密度。以BM1684X为例，其INT8算力高达32 TOPS，而FP32算力仅为2.25 TFLOPS，这一悬殊差距直接决定了部署策略必须以INT8为主、浮点为辅。
从工具链角度看，算能提供TPU-MLIR编译器，它将ONNX、PyTorch等前端模型转换为TPU可执行的BModel。该编译器支持三种精度模式：FP32模式（原样保留浮点计算）、FP16模式（半精度浮点，需硬件支持）、INT8模式（定点量化，需校准数据集）。理解这三种精度的数学表示与硬件映射关系，是后续调优的前提。
1.2 模型转换的整体流程：从PyTorch到BModel
模型转换并非简单的格式替换，而是一个涉及图优化、算子映射、精度校准、指令生成的复杂编译过程。标准流程如下：
- 模型导出：将训练好的PyTorch模型导出为ONNX格式（或直接使用PyTorch前端），确保所有算子均支持ONNX导出。
- 模型解析与预处理：TPU-MLIR读取ONNX图，进行算子融合（如Conv+BN+ReLU融合）、常量折叠、冗余节点消除。
- 精度选择与量化：根据部署需求选择FP32/FP16/INT8。若选择INT8，需提供校准数据集（通常500-1000张代表性图片），统计每层激活值的动态范围，计算scale和zero_point。
- 指令生成与优化：编译器将计算图映射为TPU底层指令，进行内存分配、DMA调度、流水线排布，最终生成BModel文件。
- 运行时验证：在目标TPU上加载BModel，使用Python或C++ SDK进行推理，对比精度与性能指标。
| 转换阶段 | 输入 | 输出 | 关键工具/参数 |
|---|---|---|---|
| 模型导出 | PyTorch权重 | ONNX文件 | torch.onnx.export, opset_version=13+ |
| 图优化 | ONNX文件 | 优化后的MLIR IR | model_transform.py, --optimize |
| 量化校准 | 校准图片集 | 量化参数表 | run_calibration.py, --histogram |
| 编译生成 | MLIR IR + 量化表 | BModel文件 | model_deploy.py, --chip bm1684x |
1.3 FP32、FP16与INT8的数学本质与存储代价
三种精度本质上是数值表示精度与硬件计算效率之间的权衡。FP32使用32位二进制表示浮点数，其中1位符号位、8位指数位、23位尾数位，可表示约7位十进制有效数字，动态范围达10^-38到10^38。FP16则压缩为1位符号、5位指数、10位尾数，有效数字仅约3位，但存储减半。INT8则完全不同，它使用8位定点数表示，通常配合per-tensor或per-channel的scale因子，将浮点数值映射到[-128, 127]的整数区间。
从硬件执行角度，FP32计算需要复杂的浮点单元，而INT8只需简单的整数乘加器，且可在一个时钟周期内完成更多操作。以BM1684X为例，其FP32算力为2.25 TFLOPS，FP16算力为4.5 TFLOPS（部分型号支持），而INT8算力高达32 TOPS。这意味着在相同功耗下，INT8的吞吐量是FP32的14倍以上。
1.4 三种精度的适用场景与选择策略
精度选择不能一概而论，需结合模型类型、硬件平台、性能要求、精度容忍度四个维度综合判断。下表给出了典型场景的推荐配置：
| 场景 | 推荐精度 | 原因分析 |
|---|---|---|
| 工业质检（缺陷检测） | INT8 | 缺陷特征明显，量化损失不影响判断；需高吞吐 |
| 医疗影像分割 | FP16 / FP32 | 像素级精度敏感，INT8可能丢失微小病灶 |
| 自动驾驶感知 | 混合精度 | 主干网络INT8，检测头FP16，平衡精度与延迟 |
| 语音识别 | INT8 | 模型鲁棒性强，量化损失可忽略 |
| 科研原型验证 | FP32 | 追求精度，不关注部署效率 |
选择策略上，建议遵循以下判断路径：第一步，评估模型对精度的敏感度——若模型在FP32下本身精度不高（如mAP<0.5），则INT8风险较大；第二步，检查硬件是否支持FP16加速——部分低端TPU仅支持INT8和FP32；第三步，进行INT8量化实验，对比量化前后精度差异，若drop超过1%（分类任务）或2%（检测任务），则需考虑混合精度。
1.5 实战案例：边缘盒子的INT8量化部署
某智慧园区项目需在BM1684X边缘盒子上部署YOLOv5s行人检测模型，要求帧率≥30 FPS，mAP@0.5不低于0.85。初始FP32模型在GPU上mAP为0.88，但直接转换至TPU FP32模式后，帧率仅8 FPS，远不达标。
分析过程：通过TPU-MLIR的profiling工具发现，FP32模式下内存带宽成为瓶颈——模型权重约28MB，激活值占用大量DDR带宽。而INT8量化后权重仅7MB，带宽需求降低4倍。但直接使用默认的per-tensor量化后，mAP降至0.79，损失过大。
优化步骤：
- 改用per-channel量化（针对卷积权重），mAP回升至0.84。
- 使用混合精度：将检测头（Detect层）保持FP16，主干网络使用INT8，最终mAP达到0.86。
- 校准数据集从200张增至800张，覆盖不同光照和视角，进一步稳定量化参数。
结果对比：最终BModel在BM1684X上帧率达42 FPS，mAP为0.86，满足项目要求。代价是模型文件从28MB增至31MB（混合精度），但仍在可接受范围。
1.6 常见误区与总结
在课程导入阶段，必须澄清几个常见误区：
- 误区一：FP16是FP32的完美替代。实际上，FP16的精度损失在部分模型中不可接受，且并非所有TPU都支持FP16加速。
- 误区二：INT8量化后精度必然下降。通过合理的校准和混合精度策略，INT8在多数任务中可达到与FP32相当的精度。
- 误区三：转换流程是自动化的，无需人工干预。实际上，算子映射失败、量化溢出、内存冲突等问题频繁出现，需要工程师深入理解模型结构和硬件特性。
- 误区四：BModel生成后不可再优化。实际上，可以通过调整DMA缓冲区大小、开启算子并行、修改数据排布等方式进一步优化。