课程导论：TinyML与RKNN的定位、课程目标、学习路径与适用硬件平台概览
嵌入式人工智能正在经历一场深刻的范式转移：从依赖云端GPU的大规模推理，转向在功耗受限、算力有限的边缘设备上直接执行机器学习任务。TinyML（微型机器学习）正是这一趋势的产物，它关注如何在微控制器（MCU）或低功耗应用处理器上部署轻量化神经网络模型。而瑞芯微（Rockchip）推出的RKNN（Rockchip Neural Network）工具链，则为TinyML在瑞芯微系列SoC（如RK3566、RK3588、RV1126等）上的落地提供了关键的模型转换、量化与推理加速能力。本章作为整个课程的开篇，将系统梳理TinyML与RKNN的定位关系，明确课程学习目标与路径，并概览适用硬件平台，帮助学习者建立全局视野。
上图展示了本课程的核心知识框架：TinyML作为理论基石，RKNN作为工程工具，硬件平台作为物理载体，三者通过五阶段学习路径有机串联。接下来，我们将逐一深入剖析每个模块的具体内涵。
1.1 TinyML的定位与核心挑战
TinyML并非简单的“小模型”概念，而是一套完整的工程方法论。它要求在极低的功耗预算（通常为毫瓦级）和有限的内存资源（通常为数百KB至数MB）下，实现可用的机器学习推理能力。与传统的云端AI相比，TinyML强调数据本地化处理，减少网络传输延迟，同时保障数据隐私。在瑞芯微平台上，TinyML的落地主要依赖其内置的NPU（神经网络处理单元），而非单纯的CPU或GPU。
核心挑战集中在三个方面：模型体积（如何将数十MB的模型压缩至几MB）、计算精度（量化后如何保持准确率）、硬件适配（不同NPU架构对算子支持存在差异）。RKNN工具链正是为了解决这些挑战而设计，它提供了从模型导入到最终部署的全流程支持。
关键认知：TinyML的本质是“在约束条件下做工程权衡”。RKNN工具链的价值在于将这种权衡过程自动化、可视化，让开发者能够快速迭代。例如，RKNN的量化工具可以自动分析每层的数据分布，推荐最优的量化策略，而无需开发者手动逐层调整。
1.2 RKNN工具链的架构与工作流程
RKNN工具链由三个核心组件构成：模型转换器（rknn-toolkit2）、运行时库（librknnrt.so）和性能分析器（rknn_benchmark）。模型转换器运行在PC端（x86架构），负责将TensorFlow、PyTorch、ONNX等格式的模型转换为RKNN格式；运行时库部署在目标板卡上，负责加载RKNN模型并调用NPU执行推理；性能分析器则用于评估模型在目标硬件上的实际表现。
整个工作流程可以概括为以下步骤：
- 模型准备：使用训练框架导出ONNX或TensorFlow模型，确保输入输出节点命名清晰。
- 环境配置：在PC上安装rknn-toolkit2及其依赖（Python 3.8+，Ubuntu 20.04+）。
- 模型转换：调用RKNN类加载模型，设置量化配置（如INT8、INT16），执行转换。
- 量化校准：提供代表性数据集（通常100-500张图片），工具自动统计激活值范围。
- 板端验证：将生成的.rknn文件拷贝至目标板，使用Python或C API加载并推理。
- 性能调优：根据分析器输出的逐层耗时，调整模型结构或量化参数。
| 组件名称 | 运行环境 | 主要功能 | 典型接口 |
|---|---|---|---|
| rknn-toolkit2 | PC (x86_64) | 模型转换、量化、模拟推理 | Python API |
| librknnrt.so | 目标板 (ARM) | 模型加载、NPU调度、内存管理 | C/C++ API |
| rknn_benchmark | 目标板 (ARM) | 逐层耗时统计、内存占用分析 | 命令行工具 |
1.3 适用硬件平台概览与选型建议
瑞芯微的AIoT芯片家族覆盖了从入门级到高算力的完整产品线。选择哪款芯片，取决于项目的算力需求、功耗预算和成本约束。以下是本课程涉及的主要平台及其关键参数：
- RV1126/RV1109：入门级，内置2 TOPS NPU，支持4K编码，适合智能摄像头、门禁等视觉应用。
- RK3566/RK3568：中端主流，内置1 TOPS NPU（RK3566）或0.8 TOPS（RK3568），支持多路视频解码，适合NVR、边缘计算盒子。
- RK3588/RK3588S：旗舰级，内置6 TOPS NPU，支持8K视频处理，适合复杂AI应用如自动驾驶辅助、工业质检。
- RK1808：老一代产品，内置3 TOPS NPU，仍广泛用于工业场景。
选型误区提醒：不要盲目追求高TOPS算力。NPU算力越高，芯片功耗和成本也越高。对于大多数TinyML应用（如关键词唤醒、简单图像分类），1-2 TOPS已经足够。建议先评估模型的实际计算量（MACs），再反推所需算力，留出30%的余量即可。
1.4 课程学习路径与目标拆解
本课程共30章，按照“基础→进阶→实战”的逻辑组织。前5章聚焦环境搭建和工具链使用；第6-15章深入模型转换、量化、算子适配等核心技术；第16-25章讲解性能优化、多模型调度、混合精度推理等高级主题；最后5章通过完整项目案例（如人脸检测、关键词识别、异常检测）串联所有知识点。
学习目标分为三个层次：理解层（掌握TinyML原理和RKNN架构）、应用层（能独立完成模型转换和部署）、优化层（能针对特定硬件进行性能调优）。建议学习者按照每章后的练习任务逐步推进，尤其是量化校准和算子替换实验，必须动手操作才能内化知识。
学习建议：准备一块RK3566开发板（约300元）和一台Ubuntu PC即可完成全部实验。如果条件允许，再准备RK3588用于高性能场景验证。不要一开始就追求高算力平台，先把基础流程跑通。
1.5 常见误区与总结复盘
在课程开始前，有必要澄清几个常见误区：
- 误区一：认为RKNN只支持瑞芯微自研模型。实际上，任何能导出ONNX的模型都可以转换，包括YOLO、MobileNet、BERT等主流架构。
- 误区二：忽略量化校准的重要性。很多开发者直接使用默认量化参数，导致模型精度下降5%以上。正确的校准数据集选择能显著改善结果。
- 误区三：混淆NPU与GPU的编程模型。NPU通常不支持动态形状和复杂控制流，需要提前固定输入尺寸。
- 误区四：忽视板端内存带宽。即使NPU算力足够，如果DDR带宽不足，推理速度仍会受限。
总结本章，我们明确了TinyML与RKNN的互补关系：TinyML提供了问题定义和理论约束，RKNN提供了工程化解决方案。硬件平台决定了性能上限，而工具链决定了开发效率。接下来的章节将逐一展开每个技术细节，帮助学习者建立从理论到实践的完整能力闭环。