📚 课程目录第4章归一化原理

4、归一化原理：线性映射、最小-最大归一化、标准化（Z-score）的数学基础与适用场景

在Arduino传感器数据采集系统中，原始数据往往带有量纲差异、量级悬殊或异常波动。例如，一个光敏电阻的ADC读数可能在0~1023之间，而一个温湿度传感器的湿度值在20%~90%之间，温度值在0~50℃之间。如果将这些原始值直接送入控制算法或机器学习模型，量纲大的特征会主导计算，量纲小的特征则被淹没。归一化（Normalization）正是解决这一问题的核心预处理手段。本章将深入剖析三种最常用的归一化方法——线性映射、最小-最大归一化、标准化（Z-score）的数学原理、适用边界及在Arduino环境中的工程实现要点。

上图展示了从原始传感器数据到归一化输出的完整决策链路。在实际工程中，选择哪种方法并非随意，而是取决于数据的边界特性、分布形态以及下游算法的需求。下面我们将逐一拆解每种方法的数学本质与工程适配。

4.1 线性映射：最朴素的尺度变换

核心原理：线性映射是最基础的归一化形式，其数学表达式为 y = kx + b，其中 k 为比例系数（增益），b 为偏移量。它的本质是对原始数据施加一个线性变换，使得变换后的数据落在目标区间 [y_min, y_max] 内。在传感器处理中，最常见的应用是将ADC原始读数（如0~1023）映射到实际的物理量（如0~5V电压，或0~100%湿度）。

数学推导：假设原始数据范围为 [x_min, x_max]，目标范围为 [y_min, y_max]，则：

k = (y_max - y_min) / (x_max - x_min)
b = y_min - k * x_min
// 合并后：
y = (y_max - y_min) * (x - x_min) / (x_max - x_min) + y_min

这个公式本质上就是两点确定一条直线的解析几何问题。在Arduino中，我们通常使用 map() 函数或手动浮点运算实现。但需要注意，map() 函数在Arduino中是基于整数运算的，会产生截断误差，对于精度要求高的场景（如PID控制），应使用浮点运算。

适用场景：当传感器数据具有明确的物理上下界，且数据分布近似均匀时，线性映射是最佳选择。例如：

NTC热敏电阻分压后的ADC值 → 温度值（已知0℃对应ADC 200，100℃对应ADC 800）
电位器旋钮位置 → 舵机角度（0~180°）
压力传感器输出电压 → 重量（0~5kg）

局限性：线性映射假设传感器响应是线性的，但许多物理传感器（如热敏电阻、超声波测距在近距离段）实际具有非线性响应。此时，线性映射会引入系统性误差，需要配合查表法或多项式拟合进行修正。

4.2 最小-最大归一化（Min-Max Normalization）

核心原理：最小-最大归一化是线性映射的特例，它将数据线性变换到 [0, 1] 区间（或 [-1, 1]）。其公式为：

x_norm = (x - x_min) / (x_max - x_min)

其中 x_min 和 x_max 是样本数据中的最小值和最大值。与线性映射不同，Min-Max 归一化中的边界不是由物理量程决定，而是由观测数据的动态范围决定。这意味着，同一传感器在不同时间段采集的数据，其归一化结果可能不同。

工程实现要点：在Arduino中实现Min-Max归一化时，需要预先确定 x_min 和 x_max。有两种策略：

静态边界：在系统初始化时，通过一段时间的采样确定边界，然后固定使用。适合数据范围相对稳定的场景。
动态边界：实时更新 x_min 和 x_max，适应数据漂移。但需注意，动态边界可能导致归一化后的数据出现跳变，影响控制稳定性。

特性	Min-Max 归一化	Z-score 标准化
输出范围	固定 [0,1] 或 [-1,1]	无固定范围，约 [-3,3]（99.7%数据）
对异常值敏感度	高（异常值会压缩正常数据）	低（异常值影响均值与方差，但影响有限）
数据分布要求	无特定要求，但有界数据效果更佳	适合近似正态分布的数据
保留分布形态	保留原始分布形状，仅缩放	改变分布为均值0、方差1的标准正态
Arduino内存开销	低（仅需存储两个边界值）	中（需存储均值与方差，可能需要浮点运算）

风险提示：Min-Max归一化对异常值极其敏感。假设一个超声波传感器正常测距范围是20~200cm，但偶尔因声波反射异常产生一个500cm的读数，那么归一化后，20cm会变成0，200cm会变成约0.375，而正常数据被压缩到很小的区间内，导致后续阈值判断失效。因此，在使用Min-Max之前，必须进行异常值剔除或使用分位数截断。

4.3 标准化（Z-score）

核心原理：标准化将数据转换为均值为0、标准差为1的标准正态分布形式。其公式为：

z = (x - μ) / σ

其中 μ 为样本均值，σ 为样本标准差。标准化后的数据 z 表示原始值 x 距离均值有多少个标准差。例如，z=1.5 表示该数据点高于均值1.5个标准差。

数学性质：标准化不改变数据的分布形态（如果原始数据是偏态的，标准化后仍然偏态），但它消除了量纲影响，使得不同量纲的特征可以直接比较。在机器学习中，当特征之间量级差异大且算法基于距离计算（如KNN、SVM）时，标准化是必须的预处理步骤。

Arduino实现注意事项：

// 滑动窗口内计算均值与方差
float mean = 0.0;
float variance = 0.0;
for (int i = 0; i < WINDOW_SIZE; i++) {
  mean += buffer[i];
}
mean /= WINDOW_SIZE;

for (int i = 0; i < WINDOW_SIZE; i++) {
  variance += sq(buffer[i] - mean);
}
variance /= WINDOW_SIZE;  // 总体方差
float stddev = sqrt(variance);

// 标准化当前值
float z_score = (current_value - mean) / stddev;

在8位AVR单片机（如ATmega328P）上，浮点运算（尤其是 sqrt()）会消耗较多CPU周期。如果系统对实时性要求高，建议使用近似算法或查表法，或者将窗口大小限制在16~32个样本以内。

经验建议：在Arduino项目中，如果数据分布近似正态（如环境温度波动、电池电压纹波），Z-score标准化能有效抑制异常值的影响。例如，当电池电压因瞬时大电流负载而跌落时，Z-score会将该值标记为离群点，便于系统识别并触发低电压保护，而不是直接将其作为正常值参与平均。

4.4 实战案例：多传感器融合前的归一化设计

背景与约束：设计一个智能温室环境监测节点，需要融合三个传感器：土壤湿度（电容式，输出ADC 0~1023）、环境温度（DS18B20，输出-10~50℃）、光照强度（BH1750，输出0~65535 lux）。控制算法需要综合这三个指标判断灌溉和遮阳动作。原始数据量纲差异巨大：光照的数值范围是温度的数千倍，如果直接加权，光照将完全主导决策。

初始现象：在未归一化的测试中，当光照从10000 lux变化到20000 lux时，综合评分从45跳变到80，而土壤湿度从30%下降到20%（ADC从600降到400）时，综合评分仅从45变化到48。显然，光照量纲压制了湿度变化。

分析判断过程：

土壤湿度ADC值在300~800之间波动（受土壤类型影响），分布近似均匀，但有极端干涸（ADC>900）和饱和（ADC<200）情况。
温度在5~35℃之间，近似正态分布，偶尔有传感器噪声尖峰。
光照在0~65535之间，但实际工作范围在2000~30000 lux，分布右偏。

归一化策略选择：

土壤湿度：使用Min-Max归一化，但边界采用分位数截断（取5%~95%分位数），避免极端值压缩正常范围。
温度：使用Z-score标准化，因为温度近似正态，且需要识别异常尖峰。
光照：使用对数变换+Min-Max，先取log(x+1)压缩右偏，再归一化到[0,1]。

实际操作步骤：

// 土壤湿度：分位数截断后的Min-Max
#define SOIL_MIN 250.0
#define SOIL_MAX 850.0
float soil_norm = constrain((soil_adc - SOIL_MIN) / (SOIL_MAX - SOIL_MIN), 0.0, 1.0);

// 温度：Z-score，窗口大小32
float temp_mean = 20.0;  // 初始化
float temp_std = 3.0;
float temp_z = (temp_c - temp_mean) / temp_std;

// 光照：对数+Min-Max
float light_log = log(light_lux + 1.0);
float light_norm = (light_log - log(2000.0)) / (log(30000.0) - log(2000.0));
light_norm = constrain(light_norm, 0.0, 1.0);

结果对比：归一化后，三个特征均落在[0,1]区间（温度Z-score约在[-2,2]），加权综合评分中，湿度变化20%对应评分变化约0.2，光照变化10000 lux对应评分变化约0.15，温度变化5℃对应评分变化约0.1。各因素对决策的贡献比例符合设计预期。

风险与代价：分位数截断需要预先采集足够多的样本（至少200个）才能稳定估计边界。在系统启动初期，边界不准确会导致归一化偏差。为此，我们在代码中加入了边界自适应更新机制，每10分钟重新计算一次分位数。

复盘经验：归一化不是机械套用公式，而是需要理解传感器物理特性和数据分布。对于有界且均匀的数据用Min-Max，对于无界或正态数据用Z-score，对于偏态数据先变换再归一化。在Arduino资源受限环境下，优先选择计算量小的方法，但不要牺牲必要的精度。

4.5 常见误区与总结

误区一：所有数据都归一化到[0,1]。实际上，如果数据存在异常值，Min-Max归一化会破坏数据分布。此时Z-score更稳健。

误区二：归一化后数据一定服从正态分布。归一化只是尺度变换，不改变分布形态。如果原始数据是双峰的，归一化后仍然是双峰。

误区三：在Arduino中直接使用 map() 做浮点归一化。map() 返回long型整数，会丢失小数精度。对于需要连续控制信号的场景，应使用浮点运算。

误区四：忽略归一化参数的动态更新。传感器会随时间漂移（如温湿度传感器老化），固定的归一化边界会逐渐失效。建议定期重新校准边界或使用滑动窗口动态计算。

总结决策清单：

已知物理量程且线性响应 → 线性映射（y=kx+b）
数据有界、分布均匀、无显著异常值 → Min-Max归一化
数据无界、近似正态、需要异常检测 → Z-score标准化
数据高度偏态（如指数分布） → 先对数/幂变换，再归一化
多传感器融合 → 统一到相同尺度，但需根据各传感器特性选择方法

在实际Arduino工程中，归一化参数的存储和计算需要权衡内存与速度。对于8位MCU，建议将归一化参数（如均值、标准差、边界值）存储在 PROGMEM 中，避免占用宝贵的SRAM。同时，尽量使用整数运算或定点数近似，减少浮点运算带来的CPU开销。归一化是传感器数据预处理的第一步，也是决定后续算法效果的关键基石，值得投入时间精心设计。