1. 课程导入
TinyML（微型机器学习）是机器学习与嵌入式系统深度融合的前沿领域，其核心目标是在功耗受限、算力有限、内存仅有几十至几百KB的微控制器（MCU）上部署并运行机器学习模型。与云端或移动端AI不同，TinyML设备通常由纽扣电池供电，以每秒数十至数百次推理的频率持续运行，且往往承担着实时感知与决策的任务。在这样的极端约束下，模型的输入质量直接决定了系统的性能上限——而特征工程，正是决定输入质量的第一道关卡。本课程作为TinyML系列的第4讲，将系统性地讲解统计特征、频域特征与归一化三大核心模块，帮助学习者在资源受限的端侧环境中构建高效、鲁棒、可落地的特征流水线。
一、TinyML特征工程的定义与本质
特征工程（Feature Engineering）是指从原始传感器数据中提取、构造、筛选和变换出对机器学习模型训练与推理最有价值的数值化表示的过程。在TinyML场景中，特征工程并非简单的数据预处理，而是一种在极端资源约束下的信息压缩与信号解构艺术。其本质可以概括为：用尽可能少的计算量和内存占用，保留原始信号中与目标任务最相关的判别信息，同时抑制噪声、冗余和无关变化。
与传统机器学习特征工程相比，TinyML特征工程面临三个根本性差异。第一，计算预算差异：云端特征工程可以使用Python生态中的pandas、numpy、scikit-learn等丰富工具库，毫秒级延迟和GB级内存都不是问题；而端侧MCU通常以C语言实现，每次特征提取的CPU周期预算往往在几万到几十万之间，内存缓冲区可能仅有几十KB。第二，实时性要求差异：TinyML设备通常需要以流式方式处理连续传感器数据流，特征必须随数据到达而实时更新，无法像离线分析那样对全量数据做多次扫描。第三，部署环境差异：端侧设备面临温度漂移、电池电压波动、传感器老化、振动干扰等复杂物理环境，特征必须对这类环境变化保持鲁棒性。
核心理解：特征工程在TinyML中的角色类似于“信号翻译官”——它将物理世界中的连续模拟信号（加速度、声压、温度等）翻译成机器学习模型能够高效处理的离散数值向量。一个好的特征表示，可以让一个仅有几百个参数的轻量模型达到甚至超过使用原始数据训练的大型模型的性能。反之，如果特征设计不当，再强大的模型也无法在端侧有限的容量内获得满意的效果。
二、为什么特征工程在端侧机器学习中至关重要
在TinyML系统中，特征工程的重要性可以从模型性能、系统资源、部署可靠性三个维度来理解。
从模型性能维度看，端侧模型的结构通常被严格限制——决策树深度不超过10层、神经网络隐藏层不超过2层、每层神经元数量在8~32之间。这种容量限制意味着模型本身不具备从原始高维数据中自动学习复杂特征表示的能力。以人体活动识别（HAR）为例，如果直接将三轴加速度计的原始采样值（假设采样率50Hz，窗口2秒，即300维输入）送入一个仅有16个隐藏神经元的MLP，模型几乎无法收敛到有意义的决策边界。而如果先提取均值、方差、过零率、频谱质心等20~30个统计与频域特征，同样的模型结构就能达到90%以上的分类准确率。
从系统资源维度看，特征工程直接决定了数据从传感器到模型输入之间的“数据通路”效率。一个设计良好的特征流水线，能够将原始数据流压缩为低维特征向量，从而减少模型输入层的维度、降低权重矩阵的存储需求、缩短每次推理的计算时间。例如，一个原始音频流以16kHz采样、16bit量化，每秒产生32KB数据；而经过MFCC特征提取后，每秒仅产生约1.5KB的特征数据，压缩比超过20倍。这种压缩对于仅有512KB Flash和256KB RAM的MCU而言，是决定系统能否实时运行的关键。
从部署可靠性维度看，特征工程还承担着“域适应”和“鲁棒性增强”的功能。不同批次的传感器芯片可能存在个体差异，同一型号设备在不同温度、湿度环境下输出特性也会漂移。通过精心设计的归一化策略（如Z-Score标准化、滑动窗口自适应归一化），可以显著降低这类域偏移对模型性能的影响，使模型在出厂后长期运行中保持稳定的准确率。
| 对比维度 | 云端/PC端机器学习 | TinyML端侧机器学习 |
|---|---|---|
| 典型硬件 | X86服务器 / GPU工作站 | Cortex-M0~M7 MCU，主频10~200MHz |
| 内存容量 | 8GB ~ 512GB | 16KB ~ 512KB |
| 特征计算库 | NumPy / SciPy / Pandas / librosa | CMSIS-DSP / 手写C函数 / 查表法 |
| 数据精度 | FP32 / FP64 浮点 | int8 / int16 / Q15定点 |
| 特征更新方式 | 离线批量计算 | 流式增量更新 |
| 典型特征维度 | 数百~数千维 | 8~50维 |
| 开发语言 | Python / R / MATLAB | C / C++ / 汇编优化 |
三、TinyML特征工程的核心方法论
在TinyML场景下，特征工程的方法论可以归纳为“一个中心、两条主线、三个步骤”。
一个中心是指以“信息密度最大化”为中心。端侧特征工程的每一个决策都应该围绕一个问题展开：在给定的计算和存储预算内，如何让每个特征维度携带最多的判别信息？这意味着我们需要主动丢弃与任务无关的信息（如直流偏置、高频噪声），压缩冗余信息（如相邻采样点的高度相关性），并强化关键判别模式（如振动信号的基频及其谐波结构）。
两条主线分别是时域特征线和频域特征线。时域特征直接对采样序列进行数学运算，计算量低、物理意义直观，适合快速粗筛；频域特征通过傅里叶变换或滤波器组揭示信号的周期性和频率分布，对周期性信号（如电机振动、心跳、语音）具有更强的判别力，但计算量相对较大。优秀的TinyML特征工程往往将两者结合：先用时域特征做快速预判，再在必要时触发频域分析。
三个步骤分别是：（1）窗口化与分段——将连续传感器数据流切分为固定长度或事件触发的时间窗口，窗口长度需兼顾时间分辨率和频率分辨率；（2）特征提取与变换——在每个窗口内计算统计特征（均值、方差、峰度、偏度、过零率等）和频域特征（FFT峰值、频谱质心、谱熵、子带能量等）；（3）归一化与缩放——将不同量纲、不同数值范围的特征统一到相近的尺度，避免某些特征因数值过大而主导模型训练。
四、本课程的学习路径与目标
本课程共分为四大知识模块，每个模块都围绕“理论→方法→实战→复盘”的闭环展开。
模块一：统计特征工程（第2~4章）。这一模块将深入讲解时域统计特征的计算原理与端侧实现技巧。内容包括：滑动窗口的增量均值/方差更新算法（Welford算法）、基于直方图的近似分位数估计、过零率与峰峰值的快速计算、以及如何在定点数环境下保证统计精度。我们将以人体活动识别（HAR）为贯穿案例，展示如何从IMU数据中提取出判别力最强的统计特征组合。
模块二：频域特征工程（第5~7章）。这一模块聚焦于频谱分析在端侧的实现。我们将学习定点FFT（基于CMSIS-DSP库）、功率谱密度估计、梅尔频率倒谱系数（MFCC）的轻量化近似、以及频谱峰值与子带能量的提取方法。案例场景包括：电机故障诊断（通过振动频谱识别轴承磨损）、语音关键词唤醒（通过MFCC特征区分唤醒词与噪声）。
模块三：归一化与特征缩放（第8~9章）。这一模块解决特征尺度不一致的问题。我们将对比Min-Max归一化、Z-Score标准化、鲁棒缩放（基于中位数和IQR）在端侧的实现代价与适用场景，并重点讲解在线归一化技术——如何在数据流式到达时动态更新归一化参数，以适应传感器漂移和环境变化。
模块四：特征选择与端侧部署优化（第10章）。最后，我们将学习如何在资源约束下筛选最优特征子集，包括基于相关性的过滤法、基于轻量模型的嵌入法，以及特征量化（将浮点特征量化为int8）对模型精度的影响评估。
学习建议：本课程的学习目标不仅是掌握特征计算的具体公式，更重要的是建立“资源感知”的思维方式。每学习一个特征提取方法，都请思考三个问题：① 这个方法需要多少内存缓冲区？② 计算一次需要多少CPU周期？③ 如果改用定点数实现，精度损失是否可接受？带着这三个问题学习，你才能真正将特征工程落地到实际的TinyML项目中。
五、案例拆解：从原始IMU数据到端侧活动识别
为了帮助大家建立对TinyML特征工程的直观认识，我们以一个具体的端侧人体活动识别项目为例，展示特征工程在完整系统中的作用。
项目背景与约束：某可穿戴设备厂商需要在一颗Cortex-M4F（主频80MHz，内置256KB SRAM）上实现实时活动识别（静止/走路/跑步/上下楼），传感器为BMI160六轴IMU，加速度采样率50Hz，系统要求每次推理延迟不超过50ms，平均功耗不超过1.5mW，模型需在出厂后无需重新校准即可长期运行。
初始方案与问题：工程师最初尝试直接将2秒窗口内的三轴加速度原始数据（共300个采样点）展平后送入一个两层全连接神经网络（输入层300→隐藏层64→输出层4）。在PC端仿真时准确率达到92%，但部署到MCU后发现两个严重问题：① 模型权重占用Flash达48KB，加上运行时特征缓冲区（300×2字节=600字节）和中间变量，内存峰值接近80KB，超出预算；② 每次推理耗时约120ms，远超50ms的实时性要求。
特征工程介入：团队重新设计了特征流水线，具体步骤如下：
- 窗口化：采用2秒滑动窗口，步长0.5秒（即50%重叠），每个窗口包含100个采样点/轴。
- 统计特征提取：对每个轴分别计算均值（反映姿态倾斜）、标准差（反映运动强度）、过零率（反映运动频率）、峰峰值（反映冲击幅度），共3轴×4个=12维特征。
- 频域特征提取：对每个轴做32点定点FFT（仅取前16个频点），提取频谱质心和主频幅值，共3轴×2个=6维特征。
- 特征融合与归一化：将18维特征拼接后，使用在PC端离线计算好的Min-Max参数（min和max各18个浮点值）进行归一化，量化为int8后送入模型。
- 模型精简：输入维度从300降至18后，模型简化为18→16→4的MLP，权重仅需1.2KB。
结果对比：优化后的系统在MCU上实现了35ms的推理延迟（满足50ms要求），内存峰值降至12KB，Flash占用降至8KB（模型1.2KB+特征代码6.8KB），功耗降至0.9mW。准确率方面，由于特征工程有效提取了判别信息，准确率反而从92%提升至94.5%。更重要的是，由于特征对传感器个体差异进行了归一化处理，不同设备间的准确率波动从±8%缩小到±2%。
复盘与经验：这个案例清晰地展示了特征工程在TinyML中的杠杆效应——通过18维精心设计的特征替代300维原始数据，不仅没有损失信息，反而因为去除了噪声和冗余，提升了模型的泛化能力。同时，特征维度的降低直接带来了模型容量、内存占用和推理延迟的全面优化。这正是本课程要传授的核心能力：用特征工程的智慧，换取端侧资源的解放。
常见误区提醒：初学者容易陷入“特征越多越好”的误区，在端侧盲目堆砌特征维度。实际上，每增加一个特征维度，不仅增加计算量和内存，还可能引入噪声和过拟合风险。在TinyML场景中，特征维度的合理范围通常在8~50之间，超过50维后收益急剧递减。正确的做法是：先基于领域知识设计候选特征池，再通过特征选择算法筛选出最精简且判别力最强的子集。
六、总结与课程学习目标
本章作为课程的导入，为后续深入学习奠定了概念基础。通过本章的学习，你应该能够：
- 准确描述TinyML特征工程的定义，并解释其与云端特征工程在约束条件上的本质差异。
- 清晰阐述特征工程在端侧机器学习中的三重角色：性能提升器、资源压缩器、鲁棒性增强器。
- 系统掌握“一个中心、两条主线、三个步骤”的TinyML特征工程方法论框架。
- 理解统计特征、频域特征、归一化三大模块在完整特征流水线中的位置与协作关系。
- 建立“资源感知”的工程思维，在后续章节中能够主动评估每个特征提取方法的计算代价与收益。
在接下来的章节中，我们将逐一深入每个技术细节。第2章将从统计特征中最基础的均值与方差开始，讲解如何在滑动窗口下实现增量计算，以及Welford算法如何避免数值稳定性问题。请确保你已经理解了本章的核心概念框架，这将帮助你更好地把握后续内容之间的逻辑关联。