1. 课程导论
TinyML（微型机器学习）与无人机技术的结合，正在重新定义边缘智能的物理边界。本课程并非简单的算法堆砌，而是一场从传感器原始数据到飞控执行指令的完整工程实践。我们将以一架可自主悬停、识别目标并做出响应的四轴无人机为载体，打通“数据采集→模型训练→模型压缩→嵌入式部署→飞控联动”的全链路。课程的核心目标不是让你学会调用某个现成库，而是建立对资源受限设备上机器学习系统设计的系统性思维——理解每一毫瓦功耗、每一KB内存、每一毫秒延迟背后的工程权衡。
上图展示了本课程的技术栈全景。整个系统分为感知层、计算层和执行层三个物理层次，中间由TinyML引擎作为智能核心串联。感知层负责采集IMU姿态数据和摄像头图像；计算层在ESP32-S3微控制器上运行量化后的神经网络模型，完成推理任务；执行层则根据推理结果生成飞控指令。学习路径被划分为四个递进阶段，从基础通信到模型训练，再到嵌入式部署，最终实现飞控联动。这张图将贯穿整个课程，后续每个章节都会围绕其中的某个具体环节展开深入讲解。
1.1 课程总体目标：从“能飞”到“会思考”
本课程的总体目标可以概括为：在资源极度受限的微控制器上，实现一个具备实时视觉识别能力和自主飞行决策能力的无人机系统。这听起来简单，但实际工程难度远超预期。我们选择的硬件平台是ESP32-S3（主频240MHz，SRAM仅320KB）搭配OV2640摄像头和BMI088 IMU，这几乎是当前TinyML应用的最低配置。在这样的平台上，一个普通的MobileNetV2模型（约14MB）根本无法加载，必须经过量化、剪枝、算子替换等一系列优化，才能将模型压缩到200KB以内。
课程的技术目标具体分解为以下四个维度：
- 感知能力：能够以30fps的帧率采集图像，并通过IMU数据融合实现稳定的姿态估计（横滚角、俯仰角误差小于2°）。
- 推理能力：在ESP32-S3上运行量化后的图像分类模型（如识别“人”、“红色球体”、“二维码”三类目标），单次推理延迟不超过80ms，准确率不低于90%。
- 控制能力：将推理结果转化为飞控指令，实现“目标跟随”、“悬停避障”、“指定降落”三种基础飞行模式。
- 系统鲁棒性：在弱光、运动模糊、电池电压波动等干扰下，系统仍能保持稳定工作，不出现“炸机”或失控。
为了达到这些目标，课程将采用“理论讲解+代码实现+真机调试”三合一的教学模式。每一章都会给出完整的可运行代码，并配套详细的注释和调试指南。你需要准备的基础硬件包括：ESP32-S3开发板、MPU6050或BMI088 IMU模块、OV2640摄像头模块、四轴无人机机架（建议使用F450级别）、STM32F405飞控板、以及必要的电源管理模块。软件环境则包括Arduino IDE（用于ESP32开发）、STM32CubeMX（用于飞控配置）、以及Python环境（用于模型训练）。
1.2 技术栈全景：软硬件协同的工程矩阵
TinyML无人机的技术栈横跨嵌入式系统、机器学习、自动控制三个领域，每个领域都有其独特的工具链和设计范式。下表列出了本课程涉及的核心技术组件及其在系统中的角色：
| 技术层次 | 核心组件 | 具体工具/库 | 在系统中的角色 |
|---|---|---|---|
| 硬件平台 | 主控MCU | ESP32-S3 (Xtensa LX7双核) | 运行TFLite Micro推理引擎，处理图像和IMU数据 |
| 硬件平台 | 飞控MCU | STM32F405 (ARM Cortex-M4) | 执行姿态控制环，输出PWM信号驱动电机 |
| 传感器 | IMU | BMI088（加速度计+陀螺仪） | 提供6轴原始数据，用于姿态解算 |
| 传感器 | 摄像头 | OV2640 (200万像素) | 采集RGB565格式图像，用于视觉识别 |
| 机器学习 | 模型训练 | TensorFlow 2.x + Keras | 在PC端训练图像分类模型 |
| 机器学习 | 模型优化 | TFLite Converter + INT8量化 | 将FP32模型压缩为INT8格式，减小体积和延迟 |
| 机器学习 | 推理引擎 | TensorFlow Lite Micro | 在MCU上加载并执行量化模型 |
| 通信协议 | MCU间通信 | UART (115200bps) + 自定义帧格式 | ESP32将识别结果发送给飞控 |
| 控制算法 | 姿态解算 | Mahony互补滤波 | 融合加速度计和陀螺仪数据，输出欧拉角 |
| 控制算法 | 飞行控制 | PID控制器 (串级) | 根据目标位置偏差计算电机转速 |
这张表揭示了TinyML无人机的一个关键特征：异构计算。ESP32-S3负责“思考”（运行神经网络），而STM32F405负责“反应”（执行控制律）。两者通过串口通信协同工作。这种架构设计是出于实时性考虑——如果让ESP32同时处理视觉和控制，当图像推理占用CPU时，姿态控制环的响应延迟会从1ms恶化到50ms以上，导致无人机剧烈震荡。因此，我们将任务拆分到两个MCU上，各司其职。
在软件层面，本课程将重点讲解三个核心库的使用：TensorFlow Lite Micro（模型推理）、Adafruit BMI088库（传感器读取）、以及MAVLink协议（飞控通信）。你需要熟悉Arduino IDE的库管理机制，并能够通过串口监视器调试数据。对于飞控部分，我们会使用开源的Betaflight固件作为基础，但会修改其串口协议以接收外部指令。
1.3 课程项目成果预览：一个可复现的完整系统
为了让学习目标更加具象化，这里提前展示课程最终项目的功能规格和性能指标。这个项目名为“视觉跟随无人机”，其核心功能是：无人机起飞后，通过摄像头寻找视野中的红色目标（一个15cm×15cm的红色纸板），一旦锁定目标，无人机将自动调整位置，使目标始终保持在画面中央，并保持约1米的距离。
项目的关键性能指标如下：
- 目标识别延迟：从摄像头采集到输出“目标中心坐标”的端到端延迟 ≤ 100ms。
- 跟随响应时间：当目标以0.5m/s的速度移动时，无人机位置调整的延迟 ≤ 300ms。
- 姿态稳定精度：悬停时横滚/俯仰角波动 ≤ ±1.5°，偏航角波动 ≤ ±3°。
- 续航时间：搭载1000mAh 3S锂电池，持续飞行时间 ≥ 8分钟。
- 模型大小：量化后的图像分类模型 ≤ 150KB，RAM占用 ≤ 80KB。
为了达到这些指标，课程将分阶段构建系统。第一阶段（第2-5章）完成IMU数据采集和姿态解算，实现稳定的悬停；第二阶段（第6-10章）完成图像分类模型的训练和量化；第三阶段（第11-15章）将模型部署到ESP32上，并优化推理性能；第四阶段（第16-20章）实现ESP32与飞控的通信协议；第五阶段（第21-30章）进行整机联调，完成跟随、避障等高级功能。
1.4 学习路径规划：四阶段递进式实战
本课程的学习路径遵循“由底向上、逐层集成”的工程原则。每个阶段都有明确的交付物和验收标准，确保你在进入下一阶段前已经掌握了必要的技能。以下是详细的学习路径规划：
- 阶段一：感知与基础通信（第2-5章）——目标：打通传感器数据链路。你将学习如何配置BMI088 IMU，通过I2C接口读取加速度和角速度数据，并应用Mahony互补滤波算法解算出无人机的实时姿态角。同时，你需要掌握ESP32与STM32之间的UART通信协议，能够以50Hz的频率发送姿态数据。本阶段的验收标准是：在串口监视器上能够看到稳定的姿态角数据，且当无人机手动倾斜时，数据响应延迟小于20ms。
- 阶段二：视觉模型训练与优化（第6-10章）——目标：训练一个可部署的图像分类模型。你将使用PC端Python环境，采集约500张目标图像和1000张背景图像，构建一个二分类数据集。然后，基于MobileNetV2或EfficientNet-Lite架构，使用迁移学习训练模型。训练完成后，你需要使用TFLite Converter进行INT8量化，并验证量化后模型的准确率损失不超过2%。本阶段的验收标准是：量化后的模型文件小于150KB，且在PC端模拟推理准确率高于92%。
- 阶段三：嵌入式部署与性能调优（第11-15章）——目标：在ESP32-S3上运行量化模型。你将学习如何将TFLite Micro引擎移植到ESP32平台，包括配置算子解析器、分配Tensor Arena内存、以及处理摄像头图像格式转换。性能调优方面，你需要利用ESP32的SIMD指令（如S3的PIE加速器）优化卷积算子，并采用“双缓冲”机制实现图像采集与推理的流水线并行。本阶段的验收标准是：单次推理延迟小于80ms，且连续运行30分钟无内存泄漏。
- 阶段四：飞控联动与系统集成（第16-30章）——目标：实现视觉引导的自主飞行。你将设计一个简单的PID控制器，将目标在图像中的像素偏差转换为无人机的位置修正量。同时，你需要扩展串口协议，使ESP32能够发送“目标坐标”和“控制模式”指令给飞控。最后，进行整机联调，测试跟随、悬停、返航三种模式。本阶段的验收标准是：无人机能够稳定跟随移动目标，且目标丢失后能自动返航至起飞点。
这个学习路径的设计逻辑是：先确保“看得准”（感知），再确保“认得清”（模型），然后确保“跑得快”（部署），最后确保“飞得稳”（控制）。每个阶段都包含独立的调试和测试环节，避免将问题累积到最后。例如，在阶段一，如果你发现姿态数据噪声过大，可以单独调整滤波器参数，而不会影响后续的模型部署。
1.5 常见误区与总结复盘
在多年教学和项目开发中，我们发现初学者在入门TinyML无人机时，往往会陷入以下几个典型误区。这些误区不仅会浪费大量时间，还可能导致硬件损坏或数据丢失。
误区一：忽视传感器噪声处理。 很多初学者直接读取IMU原始数据就进行姿态解算，结果发现角度漂移严重。实际上，BMI088的加速度计在电机振动下会产生显著的高频噪声，必须使用低通滤波器（如截止频率20Hz的IIR滤波器）进行预处理。同样，摄像头图像在弱光环境下会有大量噪点，需要先进行灰度化和高斯模糊再输入模型。
误区二：模型量化后不验证精度。 有些同学在PC端训练模型时准确率高达98%，但部署到MCU后准确率骤降至70%。这是因为INT8量化会丢失部分信息，尤其是对于小目标或纹理复杂的图像。正确的做法是：量化后使用“代表性数据集”重新评估模型，并针对精度下降的类别增加训练样本或调整量化感知训练（QAT）策略。
误区三：串口通信协议设计过于简单。 如果只发送原始浮点数而不定义帧格式，接收端很容易因数据错位而解析错误。本课程推荐使用“帧头+数据长度+数据体+CRC校验”的格式，例如：0xAA 0x55 0x08 [float pitch] [float roll] [float yaw] [CRC16]。这样可以有效防止通信干扰。
误区四：直接在真机上调试PID参数。 在无人机上直接调整PID增益非常危险，容易导致振荡甚至“翻机”。正确的做法是：先在仿真环境（如Simulink或Python的simple-pid库）中模拟系统响应，确定大致参数范围，再在真机上进行微调。微调时，先从较小的P值开始，逐步增加，观察响应曲线。