2、基础知识：Edge AI与云AI的区别，遥测指标的定义与分类（延迟、内存、功耗、推理结果）

在进入Edge AI遥测指标的细节之前，必须先厘清一个根本性问题：Edge AI与云AI在系统架构、资源约束和运行环境上存在本质差异，这直接决定了遥测指标的选取、采集方式和评判标准。云AI拥有近乎无限的算力、内存和稳定的供电，而Edge AI则运行在电池供电、散热受限、算力有限的嵌入式设备上。这种差异不是程度上的，而是范式上的——云AI的遥测关注吞吐量和成本，Edge AI的遥测则必须围绕"在资源约束下能否可靠完成推理任务"这一核心命题展开。本章将系统阐述Edge AI与云AI的架构差异，并深入解析延迟、内存、功耗、推理结果这四类核心遥测指标的定义、采集方法与工程意义。

上图从系统架构层面展示了云AI与Edge AI的核心差异。云AI的推理链路包含"传感器→网络传输→云端推理→结果返回"四个环节，遥测指标必须覆盖网络延迟、服务器吞吐量等分布式系统指标；而Edge AI的推理链路完全在本地闭环，遥测聚焦于设备自身的计算延迟、内存占用、功耗消耗和推理质量。这种架构差异决定了后续所有指标采集和优化策略的根本方向。

2.1 核心原理：Edge AI与云AI的本质差异

Edge AI（边缘人工智能）是指在靠近数据源头的设备端（如摄像头、传感器、工业控制器、手机等）直接运行机器学习推理任务，而云AI则将数据上传至集中式数据中心进行推理。两者的差异可以从以下四个维度深入理解：

对比维度	云AI	Edge AI	工程影响
网络依赖	强依赖，断网即失效	完全本地，无网络也可运行	Edge AI适合工业现场、车载等弱网环境
算力资源	GPU/TPU集群，算力近乎无限	MCU（如Cortex-M）、NPU、低功耗GPU	模型必须量化、剪枝，适配硬件指令集
内存容量	数百GB起步，可动态扩展	通常256KB~8GB，不可扩展	需精确计算模型参数量、激活值占用
供电方式	市电，功耗不是首要约束	电池或能量采集，功耗直接决定续航	需权衡推理精度与功耗预算
延迟构成	网络RTT（几十ms~几百ms）+ 排队 + 计算	仅本地计算 + 调度开销（μs~ms级）	Edge AI可实现实时控制闭环
数据隐私	原始数据需上传，存在泄露风险	数据不出设备，隐私性天然保障	医疗、金融场景的合规优势

从遥测的角度看，云AI的延迟指标通常以"端到端延迟"（E2E Latency）为口径，包含网络传输时间、负载均衡排队时间、GPU计算时间和结果回传时间；而Edge AI的延迟指标则聚焦于"单次推理延迟"（Inference Latency），即从输入数据准备好到推理结果产生的纯计算时间。这种口径差异意味着，在Edge AI场景中，遥测系统需要以微秒级精度采集时间戳，而在云AI中毫秒级精度即可满足需求。

2.2 遥测指标的定义与分类

Edge AI遥测指标是指在设备运行过程中，通过软件或硬件手段采集的、用于量化推理任务执行状态和效果的数据项。根据工程实践，这些指标可分为四大类：延迟指标、内存指标、功耗指标和推理结果指标。每一类都有其独特的采集方法、单位标准和工程意义。

2.2.1 延迟指标（Latency Metrics）

延迟是Edge AI最核心的实时性指标，直接决定了系统能否满足控制闭环或交互响应的要求。延迟指标需要从多个粒度进行度量：

• 单次推理延迟（Per-inference Latency）：从输入张量准备好到输出张量产生的时间间隔，单位通常为毫秒（ms）或微秒（μs）。这是最基础的延迟指标，直接反映模型计算效率。
• 端到端延迟（End-to-End Latency）：从传感器采集数据到执行器响应的时间，包含数据预处理、推理、后处理和通信开销。在工业控制场景中，这个指标决定了系统的实时性上限。
• P99/P95延迟：在多次推理中，99%或95%的推理延迟不超过该值。由于Edge AI设备可能受到中断、调度、温度降频等因素影响，平均延迟往往掩盖了最坏情况，P99延迟才是判断系统稳定性的关键。
• 调度抖动（Jitter）：连续多次推理延迟的标准差，反映系统时间确定性。对于音频处理、电机控制等应用，抖动比平均延迟更重要。

延迟的采集方法通常使用硬件定时器（如ARM Cortex-M的DWT周期计数器）或操作系统的高精度时钟（如Linux的clock_gettime(CLOCK_MONOTONIC)）。在裸机环境下，可以在推理函数前后插入时间戳读取指令；在RTOS环境下，则需要考虑任务切换带来的时间误差。

2.2.2 内存指标（Memory Metrics）

Edge AI设备的内存资源极其有限，内存指标是判断模型能否在目标硬件上运行的第一道门槛。内存指标主要分为以下几类：

• 静态内存占用（Static Memory Footprint）：模型权重、偏置、批归一化参数等存储在Flash或SRAM中的固定大小。通过模型文件大小或链接器映射文件（Map File）可以精确获得。
• 动态内存峰值（Peak Dynamic Memory）：推理过程中，激活值、中间张量、临时缓冲区所占用的RAM峰值。这是最容易导致内存溢出的指标，通常使用内存池监控或栈水位检测工具采集。
• 堆内存分配次数与大小：如果代码中使用了malloc或new，需要统计每次分配的大小和频率。频繁的堆分配不仅消耗内存，还会产生碎片化问题。
• 内存带宽占用（Memory Bandwidth）：单位时间内从内存读取/写入的数据量，单位MB/s。对于NPU或GPU加速器，内存带宽往往是性能瓶颈。

内存指标的采集在MCU上通常通过修改链接脚本，在__heap_start和__heap_end之间插入监控代码；在Linux系统上则可以使用/proc/self/status中的VmPeak字段或valgrind工具。对于深度学习模型，可以使用TensorFlow Lite的arena_size参数或ONNX Runtime的arena_extend_strategy配置来限制动态内存。

2.2.3 功耗指标（Power Metrics）

功耗是Edge AI区别于云AI的最显著指标，直接关系到设备的续航时间和热设计。功耗指标需要从瞬时和累积两个维度进行度量：

• 平均功耗（Average Power）：在固定时间窗口内（如1秒或1分钟）的功耗平均值，单位mW或W。这是估算电池续航的基础数据。
• 峰值功耗（Peak Power）：推理过程中出现的最大瞬时功耗，通常发生在NPU或GPU全速运行、内存大量读写时。峰值功耗决定了电源芯片和电池的放电能力。
• 能量消耗（Energy Consumption）：单次推理所消耗的能量，单位mJ或μJ。计算公式为：能量 = 平均功耗 × 推理时间。这是衡量推理效率的最公平指标，因为它同时考虑了功耗和速度。
• 待机功耗（Standby Power）：设备空闲时的功耗，决定了系统的休眠策略和唤醒频率。

功耗采集的硬件方法包括使用INA219/INA226电流检测芯片、在电源路径中串联采样电阻配合ADC、或使用支持能量监测的开发板（如STM32L4系列的LPBAM模式）。软件方法则包括读取PMIC（电源管理IC）的寄存器值，或使用TI的EnergyTrace、Arm的Streamline等工具。

2.2.4 推理结果指标（Inference Result Metrics）

推理结果指标用于评估模型输出的质量和可信度，是遥测系统中"业务价值"的直接体现。这类指标包括：

• 置信度分数（Confidence Score）：分类模型输出的Softmax概率最大值，范围0~1。置信度低于阈值时，系统应触发降级处理或重新推理。
• 推理准确率（Accuracy）：在验证集上，模型预测正确的样本比例。在设备端持续统计准确率，可以监测模型漂移（Model Drift）现象。
• 推理结果一致性（Inference Consistency）：同一输入在不同时间、不同温度下运行多次，输出结果是否一致。对于浮点模型，由于非确定性算法（如某些GPU的原子操作），结果可能略有差异。
• 无效推理率（Invalid Inference Rate）：因输入异常、内存溢出、计算超时等原因导致推理失败的次数占总推理次数的比例。这是系统健康度的关键指标。

推理结果指标的采集需要与业务逻辑紧密结合。例如，在缺陷检测场景中，需要同时记录"检出缺陷数"和"误报数"；在语音唤醒场景中，需要记录"唤醒成功率"和"误唤醒率"。这些指标通常由应用层软件统计，并通过日志或遥测通道上报。

2.3 案例拆解：工业振动监测设备的遥测系统设计

为了将上述指标概念落地，我们以一个实际的工业振动监测设备为例，展示遥测系统的设计过程。

背景与约束：某工厂需要在旋转机械上部署振动监测节点，用于预测性维护。设备使用STM32H743（Cortex-M7 @ 480MHz）作为主控，外接ADXL345加速度传感器，运行TensorFlow Lite Micro的1D CNN模型（输入128点振动波形，输出正常/异常二分类）。设备由3.7V锂电池供电，目标续航6个月。系统要求：单次推理延迟不超过10ms，峰值内存不超过512KB（芯片内置RAM），平均功耗不超过5mW。

初始现象与目标：初版固件在实验室测试时，发现推理延迟达到15ms，超出设计指标；同时，在连续运行2小时后，设备出现一次内存溢出复位。需要定位问题并优化。

关键数据采集与分析：

1. 延迟分析：使用DWT->CYCCNT寄存器在推理前后打点，测得平均推理延迟为12.3ms，P99延迟为18.7ms。进一步分析发现，延迟主要消耗在数据预处理（从传感器读取并转换为浮点数组）上，占7.2ms；模型推理本身仅需4.1ms；后处理（Softmax计算）占1.0ms。
2. 内存分析：通过修改链接脚本，在__heap_start处放置监控变量，发现动态内存峰值达到486KB，接近512KB上限。进一步定位发现，TensorFlow Lite Micro的arena分配了400KB，而传感器数据缓冲区和中间结果缓冲区占用了86KB。
3. 功耗分析：使用INA226采样电阻法，测得平均功耗为8.2mW，其中传感器采样占2.1mW，MCU运行占4.5mW，无线传输（每10分钟上报一次）占1.6mW。峰值功耗达到45mW（发生在NPU加速推理时）。

优化操作步骤：

1. 延迟优化：将传感器数据读取从阻塞式改为DMA双缓冲模式，消除等待时间；将浮点预处理改为定点运算（Q15格式），减少CPU周期。优化后，预处理时间从7.2ms降至2.8ms，总延迟降至7.9ms。
2. 内存优化：将TensorFlow Lite Micro的arena从400KB压缩至320KB，方法是使用tflite::MicroMutableOpResolver只注册需要的算子（Conv2D、FullyConnected、Softmax），避免加载全部算子；同时将传感器缓冲区从128KB压缩至64KB（使用环形缓冲区）。优化后，峰值内存降至398KB。
3. 功耗优化：将传感器采样率从1kHz降至500Hz（根据振动信号频谱分析，500Hz已满足Nyquist要求）；在两次推理之间进入STOP模式，仅保留RTC唤醒。优化后，平均功耗降至3.8mW，满足5mW预算。

结果对比与复盘：优化后，单次推理延迟稳定在7.5~8.2ms，P99延迟为9.1ms；峰值内存398KB，余量充足；平均功耗3.8mW，理论续航达到7.2个月。复盘经验：延迟瓶颈往往不在模型计算本身，而在数据预处理和内存拷贝；内存优化需要从算子注册和缓冲区复用两个方向同时入手；功耗优化必须结合系统级休眠策略，而非仅关注推理时的功耗。

2.4 常见误区与总结复盘

在Edge AI遥测指标的实际应用中，工程师常陷入以下误区，需要特别警惕：

误区	错误认知	正确做法
只关注平均延迟	平均延迟达标就认为系统实时性合格	必须同时关注P99/P95延迟和抖动，因为偶发的高延迟可能导致控制失败
忽略内存碎片化	只要峰值内存不超过上限就安全	长期运行后碎片化可能导致分配失败，需使用内存池或定期整理
功耗只看推理阶段	推理功耗低就认为系统省电	待机功耗和传感器采样功耗往往占大头，需系统级优化
推理结果只看准确率	准确率高就认为模型可靠	需同时监控置信度分布和无效推理率，低置信度输出可能比错误更危险
遥测数据不设优先级	所有指标同等重要，全部采集	应根据应用场景区分关键指标（如工业控制的延迟）和次要指标（如长期统计的准确率）

总结复盘：Edge AI遥测指标的设计应遵循"从业务目标出发，以硬件约束为边界"的原则。首先明确应用场景对延迟、内存、功耗、推理结果的硬性要求；然后选择合适的采集方法（硬件打点、软件Hook、外部仪器）；最后建立指标间的关联分析——例如，温度升高导致降频，降频导致延迟增加，延迟增加导致推理超时，超时触发重试，重试增加功耗，功耗增加又加剧升温。这种因果链只有在完整遥测数据的支撑下才能被识别和优化。