课程导入：学习目标、适用人群、课程整体框架与学习路径
TinyML 是边缘计算与嵌入式人工智能交叉领域中最具工程落地价值的方向之一。然而，从训练好的 PyTorch / TensorFlow 模型到真正跑在 RK3588、RK3566 等瑞芯微芯片上的 NPU 单元，中间隔着模型转换、算子映射、量化校准、精度验证、性能调优、多模型部署等一系列工程化步骤。很多开发者止步于“模型在 PC 上推理成功”，却在 RKNN 工具链的报错日志、精度漂移、内存越界、NPU 利用率低下等问题前寸步难行。本课程正是为打通这一“最后一公里”而设计——从 RKNN 工具链的底层原理出发，以完整项目为牵引，带你走完从 .pt / .onnx 模型到 RKNN 格式、再到板端 C 语言 / Python API 调用的全链路落地流程。
1.1 学习目标：从“能跑通”到“跑得好”
本课程不满足于让你“跑通一个 demo”。完成全部章节学习后，你将具备以下核心能力：
- 模型转换能力：能够独立完成 PyTorch / ONNX / TFLite 模型到 RKNN 格式的转换，理解转换过程中每一层算子的映射关系，能够手动处理不支持的算子（如自定义算子、动态 shape 算子）。
- 量化工程能力：掌握 INT8 量化、FP16 量化的原理与实操，能够构建有效的量化校准数据集，能够诊断并解决量化后精度下降的问题（如权重分布异常、激活值截断）。
- 板端部署能力：能够在 RK3588 / RK3566 等开发板上完成 RKNN Runtime 的交叉编译、API 调用、内存管理、多线程推理，并实现摄像头实时推理、视频流分析等典型应用。
- 性能调优能力：能够使用 RKNN 提供的 profiling 工具分析模型各层耗时，识别 NPU 利用率瓶颈，通过算子替换、模型剪枝、输入分辨率调整等手段实现 2-5 倍的性能提升。
- 排障能力：面对 RKNN 转换报错、推理崩溃、精度异常等问题，能够通过日志分析、逐层对比、内存检测等方法快速定位根因。
课程核心交付物：一个完整的端到端项目——基于 RK3588 的实时目标检测系统（YOLOv5s 或 YOLOv8s），包含模型转换脚本、量化校准工具、C 语言推理程序、性能调优报告，以及完整的部署文档。这个项目将贯穿课程后半段，所有技术点都会在项目中得到验证。
1.2 适用人群：谁需要这门课？
| 人群类型 | 背景特征 | 课程收益 |
|---|---|---|
| 嵌入式 AI 工程师 | 熟悉 ARM / Linux 开发，有 C/C++ 基础，但缺乏模型转换经验 | 补齐模型转换与量化知识，掌握 NPU 部署全流程 |
| 算法工程师 | 熟练使用 PyTorch / TensorFlow，但对板端部署不熟悉 | 理解部署约束（内存、算力、量化），学会针对 NPU 优化模型结构 |
| 物联网 / 边缘计算开发者 | 有嵌入式产品开发经验，需要将 AI 能力集成到产品中 | 掌握 RKNN 工具链，能够独立完成从模型到产品的落地 |
| 学生 / 研究人员 | 学习过机器学习基础，希望了解模型部署的工程细节 | 建立完整的 TinyML 工程认知，提升就业竞争力 |
前置要求：建议具备 Python 编程基础（能看懂 PyTorch 模型定义）、Linux 基本操作（文件管理、终端命令）、以及基础的深度学习概念（卷积、池化、全连接层）。不需要预先了解 RKNN 或 NPU 架构，课程会从零开始讲解。
1.3 课程整体框架：六大模块，三十章递进
课程内容按照“认知 → 环境 → 转换 → 量化 → 部署 → 调优”的逻辑递进，共分为六个模块，每个模块包含若干章节，章节之间环环相扣。
模块一：基础认知（第 1-4 章）
- 第 1 章（本章）：课程导入，明确学习目标与路径
- 第 2 章：RKNN 工具链全景——RKNN-Toolkit2、RKNN Runtime、RKNPU 驱动的关系
- 第 3 章：瑞芯微 NPU 架构解析——了解 NPU 的计算单元、内存层次、算子执行方式
- 第 4 章：模型部署的通用流程——从训练到推理的完整链路
模块二：环境搭建（第 5-7 章）
- 第 5 章：RKNN-Toolkit2 安装与验证（x86 模拟器 + 板端两种模式）
- 第 6 章：开发板 Linux 系统配置——固件烧录、SSH 连接、NPU 驱动验证
- 第 7 章：交叉编译环境搭建——aarch64-linux-gnu-gcc 与 CMake 配置
模块三：模型转换（第 8-12 章）
- 第 8 章：PyTorch / ONNX 模型导出与检查
- 第 9 章：RKNN 转换 API 详解——config、build、export 全参数
- 第 10 章：算子映射与支持列表——常见不支持算子及替代方案
- 第 11 章：动态 shape 与固定 shape 的处理策略
- 第 12 章：转换错误排查——从报错信息到根因定位
模块四：量化实战（第 13-17 章）
- 第 13 章：量化原理——对称 / 非对称、per-tensor / per-channel
- 第 14 章：PTQ 量化流程——校准数据集构建、参数设置
- 第 15 章：量化精度评估——余弦相似度、mAP 对比、逐层分析
- 第 16 章：精度修复策略——混合量化、敏感层保护、QAT 简介
- 第 17 章：FP16 与 INT8 的选型决策
模块五：板端部署（第 18-24 章）
- 第 18 章：RKNN Runtime C API 详解——init、query、run 全流程
- 第 19 章：Python API 部署——适合快速原型验证
- 第 20 章：内存管理——rknn_create_mem、零拷贝、共享内存
- 第 21 章：多线程推理与异步处理
- 第 22 章：摄像头实时推理——V4L2 采集 + RKNN 推理 + 显示
- 第 23 章：多模型串联——检测 + 跟踪 + 识别的流水线
- 第 24 章：模型加密与防破解——RKNN 模型加密方案
模块六：性能调优与排障（第 25-30 章）
- 第 25 章：性能分析工具——rknn_benchmark、profiling 数据解读
- 第 26 章：NPU 算子优化——卷积、激活、池化的加速技巧
- 第 27 章：模型结构优化——剪枝、蒸馏、重参数化
- 第 28 章：系统级优化——CPU 绑核、中断优化、DMA 传输
- 第 29 章：常见崩溃与异常排查——段错误、内存泄漏、NPU 卡死
- 第 30 章：综合项目实战——从零部署 YOLOv8 目标检测系统
1.4 学习路径建议：三种典型路线
不同背景的学员可以根据自身情况选择不同的学习路径，但核心章节（第 8-10、13-15、18-20 章）建议所有人都要完整学习。
路线一：快速上手型（约 2 周）
适合有部署经验、需要快速完成一个 RKNN 项目的工程师。学习顺序：第 1-2 章 → 第 5 章 → 第 8-9 章 → 第 13-14 章 → 第 18-19 章 → 第 25 章 → 第 30 章。跳过原理性章节，直接看实操。
适合有部署经验、需要快速完成一个 RKNN 项目的工程师。学习顺序：第 1-2 章 → 第 5 章 → 第 8-9 章 → 第 13-14 章 → 第 18-19 章 → 第 25 章 → 第 30 章。跳过原理性章节，直接看实操。
路线二：系统学习型（约 5 周）
适合希望全面掌握 RKNN 部署技术的学员。按照课程顺序逐章学习，每章完成课后练习，第 30 章的综合项目作为最终考核。
适合希望全面掌握 RKNN 部署技术的学员。按照课程顺序逐章学习，每章完成课后练习，第 30 章的综合项目作为最终考核。
路线三：问题驱动型（按需学习）
适合已经在开发中遇到问题的工程师。先看第 29 章（排障），根据问题类型回看对应章节。例如遇到量化精度问题，重点学习第 15-16 章。
适合已经在开发中遇到问题的工程师。先看第 29 章（排障），根据问题类型回看对应章节。例如遇到量化精度问题，重点学习第 15-16 章。
1.5 常见误区与学习建议
根据过往教学经验，学员在学习 RKNN 部署时容易陷入以下几个误区，需要特别警惕：
- 误区一：忽视版本匹配。RKNN-Toolkit2、RKNN Runtime、NPU 驱动三者必须严格匹配版本，否则会出现“转换成功但板端无法加载”的诡异问题。建议在课程第 5 章就建立版本管理意识，使用虚拟环境隔离不同版本。
- 误区二：跳过量化直接部署 FP32 模型。虽然 RKNN 支持 FP32 推理，但 NPU 的算力优势在 INT8 下才能充分发挥。很多学员在 FP32 下跑通后就不愿做量化，导致实际产品性能不达标。本课程将量化作为核心模块，要求所有项目必须完成 INT8 量化。
- 误区三：只关注模型精度，忽略端到端延迟。模型在 PC 上推理 5ms，不代表在板端也是 5ms。需要考虑数据预处理（图像缩放、归一化）、内存拷贝、后处理（NMS）等额外耗时。课程第 25-28 章会专门讲解如何优化端到端延迟。
- 误区四：遇到报错就重装环境。RKNN 的报错信息通常包含明确的定位线索，例如算子名称、内存地址、错误码。学会阅读日志是排障的第一步。第 12 章和第 29 章会系统讲解日志分析方法。
重要提醒：本课程所有操作均在 Ubuntu 20.04 / 22.04 环境下演示，开发板推荐使用 RK3588（如 Radxa Rock 5B、Orange Pi 5 Plus）或 RK3566（如 Radxa Zero 3W）。不同芯片的 NPU 算力和算子支持略有差异，但 RKNN 工具链的使用方法完全一致。课程中的代码和脚本均经过验证，但请务必根据你的具体硬件版本和工具链版本做适配。
1.6 课程配套资源与学习方法
为了最大化学习效果，建议你做好以下准备：
- 硬件准备：一块 RK3588 或 RK3566 开发板（建议 4GB 以上内存）、一张 32GB 以上 TF 卡或 SSD、USB 摄像头（用于实时推理项目）、散热片和风扇（NPU 满载时发热明显）。
- 软件准备：一台安装 Ubuntu 20.04/22.04 的 PC（建议 16GB 内存、NVIDIA GPU 可选）、Python 3.8-3.10、PyTorch 1.10+、ONNX 1.12+。
- 学习习惯：每章结束后完成“动手实践”环节，不要只看不练。建议准备一个实验记录本，记录每次转换的参数设置、遇到的问题和解决方案，形成自己的排障手册。
- 社区资源：瑞芯微官方提供了 Rockchip Developer Zone 论坛和 GitHub 仓库（airockchip / rknn-toolkit2），遇到课程未覆盖的问题可以查阅官方文档和 issue。