3. AI芯片核心概念

边缘AI芯片选型的第一道门槛，不是看哪家宣传得更响亮，而是能否准确读懂数据手册上的每一个关键指标。算力、功耗、能效比、内存带宽、延迟、精度——这六个维度构成了评估一颗边缘AI芯片的完整坐标系。它们之间相互制约、彼此牵连：算力再高，若内存带宽不足，实际推理速度也会被“饿死”；精度再高，若功耗超出设备散热极限，产品根本无法落地。本章将逐一拆解这些核心指标的本质含义、测量方法、工程权衡，并给出一个完整的选型评估框架。

3.1 算力（TOPS）：标称值背后的“精度陷阱”

核心原理：TOPS（Tera Operations Per Second）表示芯片每秒可执行的万亿次操作数。但这里有两个关键陷阱：第一，TOPS通常指MAC（乘加运算）操作，一个MAC计为2次操作（1次乘法+1次加法）；第二，不同精度下的TOPS差异巨大——INT8算力通常是FP16的2倍，是FP32的4倍以上。例如瑞芯微RK3588的NPU标称6 TOPS，实际是INT8精度下的算力，FP16下仅3 TOPS。

判断方法：选型时务必确认三个信息：①TOPS对应的精度（INT8/FP16/BF16）；②是否包含稀疏化加速（稀疏率50%时算力翻倍）；③持续算力而非峰值算力（散热限制下的实际表现）。

3.2 功耗与能效比：边缘设备的“生死线”

核心原理：边缘设备通常无主动散热或仅被动散热，功耗直接决定产品形态。能效比（TOPS/W）是衡量芯片每消耗1瓦电能可提供多少算力的指标。以树莓派CM4（BCM2711）为例，其CPU算力约0.1 TOPS，功耗约5W，能效比仅0.02 TOPS/W；而Hailo-8的能效比可达26 TOPS/W（INT8），差距超过1000倍。

工程判断流程：

1. 确定设备热设计功耗（TDP）预算，例如手持设备通常≤3W，智能摄像头≤5W，车载盒子≤15W；
2. 计算所需最低能效比 = 目标算力 ÷ 可用功耗；
3. 对比芯片的典型功耗（非峰值）与能效比，预留20%功耗余量；
4. 检查DVFS（动态电压频率调节）支持，确认低负载时的功耗表现。

3.3 内存带宽与延迟：算力发挥的“隐形瓶颈”

核心原理：AI推理是数据密集型计算，内存带宽决定了数据从DDR到计算单元的搬运速度。若带宽不足，算力再高也会“空转”。以MobileNetV2为例，其计算量约300M MAC，但权重+特征图数据约15MB。在34GB/s的LPDDR4x带宽下，理论最短搬运时间约0.44ms；若算力足够但带宽减半，实际推理时间将增加一倍以上。

关键参数对照：

延迟指标：延迟分为端到端延迟（图像输入到结果输出）和单层延迟（算子执行时间）。实时视频分析要求端到端延迟<50ms，工业控制要求<10ms。注意区分“平均延迟”和“P99延迟”——后者反映最差情况，对稳定性要求高的场景更关键。

3.4 精度（INT8/FP16）与量化工程

核心原理：精度直接影响模型体积、推理速度和硬件成本。FP32模型转换为INT8后，体积缩小4倍，推理速度提升2-4倍，但可能引入精度损失。量化分为训练后量化（PTQ）和量化感知训练（QAT）。PTQ简单但精度损失较大（通常1-3%），QAT精度损失可控制在0.5%以内但需要重新训练。

量化决策流程：

1. 用验证集评估FP32基线精度；
2. 执行PTQ，观察精度变化；
3. 若精度损失>1%，尝试混合精度（部分层保留FP16）；
4. 仍不满足则采用QAT，需准备带标签数据集和训练环境；
5. 最终验证INT8模型在目标硬件上的实际精度与延迟。

3.5 综合选型评估框架与常见误区

评估流程：

• 第一步：需求量化——确定模型类型（分类/检测/分割）、输入分辨率、帧率要求、功耗预算、成本上限；
• 第二步：算力估算——用目标模型在参考硬件上实测，或按MAC数估算所需TOPS（边缘场景通常需2-10 TOPS INT8）；
• 第三步：带宽校验——计算模型数据量，确认内存带宽满足延迟要求；
• 第四步：精度验证——用真实数据集测试INT8精度，确认可接受；
• 第五步：生态评估——检查SDK成熟度、算子覆盖率、调试工具、社区支持。