📚 课程目录第1章课程导入

课程导入：学习目标、适用人群、课程整体框架与实战项目预览

在边缘计算与端侧AI快速普及的今天，ONNX Runtime Lite（ORT Lite）作为微软推出的轻量级推理引擎，已成为移动端、嵌入式设备和IoT场景中部署深度学习模型的首选方案之一。然而，许多开发者在实际部署中常遇到一个核心痛点：默认的ORT Lite包体积过大（通常包含全部CPU算子、所有后端执行提供程序以及完整依赖库），导致安装包动辄几十MB甚至上百MB，这在存储空间受限的嵌入式设备或对下载包大小敏感的移动应用中是不可接受的。本课程正是围绕“如何将ORT Lite部署包裁剪到极致，同时确保依赖关系清晰可控”这一核心命题展开，帮助学员系统掌握从体积分析、算子裁剪、依赖剥离到自动化构建的完整方法论。

1.1 学习目标：从“能用”到“用得精”

本课程的学习目标并非简单地教会学员如何调用ORT Lite API，而是聚焦于部署包本身的“瘦身”与“治理”。完成本课程后，学员将具备以下核心能力：

能力维度	具体目标	可量化成果
体积分析	掌握ORT Lite包体积构成分析方法，能定位体积占用Top 10的模块	输出一份完整的体积分析报告（含符号级、文件级、依赖级三个维度）
算子裁剪	理解算子注册表机制，能根据模型实际需求裁剪未使用的算子	将默认包中约1200个算子裁剪至目标模型所需的约150个算子
依赖剥离	识别并移除不必要的第三方依赖（如protobuf、re2、abseil等）	将依赖库数量从默认的23个减少至8个以内
构建定制	熟练使用CMake配置选项、自定义算子注册文件、链接器脚本	构建出针对特定硬件平台（ARMv7/ARMv8/RISC-V）的最小化ORT Lite库
验证与回归	建立裁剪后的功能验证与性能基准测试流程	形成自动化测试脚本，确保每次裁剪迭代不引入推理错误

核心原则：裁剪不是“删文件”那么简单，而是基于“模型算子覆盖分析 + 依赖图逆向追踪 + 链接级优化”的系统工程。本课程将引导学员建立一套可重复、可审计的裁剪流程，而非依赖零散的“黑魔法”技巧。

1.2 适用人群：谁需要这门课程？

本课程面向三类核心人群，每类人群的关注点和前置要求有所不同：

嵌入式/物联网软件工程师：负责在资源受限设备（如MCU、Linux网关、摄像头模组）上部署AI模型。这类学员通常已具备C/C++交叉编译经验，但可能对ONNX Runtime的内部架构不够熟悉。前置要求：熟悉Linux命令行、了解CMake基本用法。
移动端AI应用开发者：需要将模型集成到Android/iOS应用中，对APK/IPA包体积有严格限制（如超过10MB会被应用商店警告）。这类学员更关注裁剪后的库如何与现有移动端构建系统（Gradle/Xcode）集成。前置要求：掌握移动端开发基础，了解JNI/FFI调用。
AI平台/DevOps工程师：负责维护公司内部的模型部署流水线，需要为不同项目提供定制化的ORT Lite构建产物。这类学员需要掌握自动化裁剪、多版本管理、依赖缓存等工程化能力。前置要求：熟悉CI/CD工具链（Jenkins/GitHub Actions），具备脚本编写能力。

重要提醒：本课程不是零基础入门课程。学员应至少具备以下基础：① 能独立完成一个PyTorch/TensorFlow模型的导出（ONNX格式）；② 了解C/C++编译链接的基本概念（静态库与动态库的区别、符号解析过程）；③ 有基本的Linux操作经验。如果上述三项中有两项不满足，建议先补充相关基础知识再学习本课程。

1.3 课程整体框架：四大模块、三十章递进

课程共30章，分为四个递进式模块，每个模块解决一个层面的问题。模块之间不是孤立的，后一模块会复用前一模块的知识产出。

模块	章节范围	核心主题	关键产出物
模块一：基础与原理	第1-7章	ORT Lite架构解析、包体积构成、算子注册机制、执行提供程序（EP）原理、模型解析流程	体积分析工具脚本、算子覆盖报告模板
模块二：裁剪技术	第8-16章	算子级裁剪（自定义注册表）、EP精简（仅保留CPU）、编译选项优化（-Os、-ffunction-sections）、链接器垃圾回收（--gc-sections）	最小化构建配置模板、裁剪前后对比基准
模块三：依赖管理	第17-24章	静态依赖分析（ldd、readelf、nm）、动态依赖剥离、protobuf轻量化替代、线程库与内存分配器选择	依赖清单模板、符号白名单/黑名单机制
模块四：工程实践	第25-30章	CMake交叉编译全流程、自动化裁剪流水线（Python脚本驱动）、CI/CD集成、性能回归测试、实战项目完整复盘	可复用的裁剪工具链、项目部署报告

课程设计遵循“每章解决一个具体问题”的原则，每章包含理论讲解、操作演示、常见误区三个固定环节。学员可以按顺序学习，也可以根据实际需求跳转到特定章节查阅。

1.4 实战项目预览：智能门锁人脸识别端侧部署

整个课程将围绕一个贯穿始终的实战项目展开：为某智能门锁产品在RK3568平台上部署人脸识别模型。该项目具有典型的工程约束，非常适合用来检验裁剪技术的实际效果。

项目背景与约束

该智能门锁产品使用Rockchip RK3568 SoC（四核Cortex-A55，主频2.0GHz），内存2GB，存储采用eMMC 8GB。设备运行Buildroot构建的定制Linux系统，无图形界面。人脸识别模型采用MobileFaceNet（输入112x112 RGB图像），已转换为ONNX格式，模型文件大小约4.8MB。产品要求：

系统固件总大小不超过200MB（包含根文件系统、应用层、AI推理组件）
AI推理组件（含ORT Lite库、模型文件、预处理库）总大小不超过15MB
单次人脸识别推理延迟不超过120ms（CPU推理）
支持断网离线运行，不允许依赖云端服务

初始状态与问题

项目初期，开发团队直接使用ONNX Runtime官方预编译的Linux x64库（版本1.16.0）进行原型验证，随后尝试交叉编译到ARM平台。但遇到以下问题：

# 初始交叉编译尝试（简化版）
cmake -DCMAKE_TOOLCHAIN_FILE=../toolchains/aarch64-rockchip-linux-gnu.toolchain.cmake \
      -Donnxruntime_USE_CUDA=OFF \
      -Donnxruntime_USE_OPENMP=ON \
      -Donnxruntime_BUILD_SHARED_LIB=ON \
      ../onnxruntime

# 编译产物分析
ls -lh libonnxruntime.so
# -rwxr-xr-x 1 user user 28M  libonnxruntime.so

# 依赖库检查
readelf -d libonnxruntime.so | grep NEEDED
#  0x0000000000000001 (NEEDED) 共享库：[libpthread.so.0]
#  0x0000000000000001 (NEEDED) 共享库：[libdl.so.2]
#  0x0000000000000001 (NEEDED) 共享库：[librt.so.1]
#  0x0000000000000001 (NEEDED) 共享库：[libstdc++.so.6]
#  0x0000000000000001 (NEEDED) 共享库：[libm.so.6]
#  0x0000000000000001 (NEEDED) 共享库：[libgcc_s.so.1]
#  0x0000000000000001 (NEEDED) 共享库：[libc.so.6]
#  0x0000000000000001 (NEEDED) 共享库：[libprotobuf.so.32]
#  0x0000000000000001 (NEEDED) 共享库：[libre2.so.9]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_strings.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_throw_delegate.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_raw_hash_set.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_hash.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_city.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_low_level_hash.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_bad_optional_access.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_synchronization.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_time.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_cord.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_bad_variant_access.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_strerror.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_examine_stack.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_stacktrace.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_symbolize.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_debugging_internal.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_demangle_internal.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_malloc_internal.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_spinlock_wait.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_sysinfo.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_elf_mem_image.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libabsl_dynamic_annotations.so.230318]
#  0x0000000000000001 (NEEDED) 共享库：[libnsync_cpp.so.1]
#  0x0000000000000001 (NEEDED) 共享库：[libnsync_counter.so.1]
#  0x0000000000000001 (NEEDED) 共享库：[libonnxruntime_providers_shared.so]

从上述输出可以看到，默认构建的libonnxruntime.so体积高达28MB，且依赖了23个共享库（包括大量abseil库和protobuf）。如果将这些依赖全部打包进固件，仅AI推理组件就会超过40MB，远超15MB的预算。

裁剪目标与路径

本课程将通过以下路径逐步解决该问题，每个步骤对应课程中的若干章节：

算子覆盖分析（第4-5章）：使用Netron和自研脚本分析MobileFaceNet模型，提取实际使用的算子类型清单。经分析，模型仅使用Conv、BatchNormalization、Relu、Add、GlobalAveragePool、Gemm、Reshape、Transpose等约15种算子。
自定义算子注册表（第9-11章）：基于算子清单生成自定义的算子注册文件，在构建时仅注册所需算子，将ORT Lite的算子注册表从默认的1200+算子缩减至约150个。
EP精简（第12章）：禁用所有非CPU执行提供程序（如CUDA、TensorRT、OpenVINO、NNAPI），仅保留CPU EP，并关闭OpenMP（改用纯pthread），减少运行时依赖。
编译与链接优化（第13-15章）：使用-ffunction-sections -fdata-sections编译选项和--gc-sections链接选项，让链接器自动丢弃未引用的函数和数据。同时使用strip工具去除符号表。
依赖剥离（第17-20章）：通过静态分析识别出protobuf、re2、abseil等非必要依赖，通过配置选项将其禁用或替换为轻量级实现。
最终验证（第28-30章）：在RK3568开发板上进行实际推理测试，验证功能正确性和性能指标。

预期成果

指标	初始状态	裁剪后目标	优化幅度
libonnxruntime.so体积	28MB	≤4.5MB	↓ 84%
依赖共享库数量	23个	≤6个（仅libc、libstdc++、libm、libpthread、libdl、librt）	↓ 74%
AI推理组件总大小	约42MB	≤12MB（含模型文件4.8MB）	↓ 71%
单次推理延迟	约95ms	≤120ms（裁剪后可能略有增加，需控制在预算内）	—

学习建议：建议学员在学习过程中同步准备一个自己的实战项目（可以是任何ONNX模型），按照课程各章节的方法逐步应用。每章结束后，对照自己的项目记录裁剪前后的数据变化，形成个人专属的裁剪案例库。这样在课程结束时，你不仅掌握了方法论，还拥有了一份可直接复用的项目经验。

1.5 常见误区与学习路径建议

在开始正式学习之前，有必要澄清几个常见误区，这些误区可能导致学员在后续章节中走弯路：

误区一：裁剪就是删除文件。直接删除.so文件或头文件会导致链接错误或运行时崩溃。正确的裁剪必须从构建配置层面入手，让编译器/链接器在生成阶段就排除不需要的代码。
误区二：裁剪后性能一定下降。实际上，合理的裁剪（如移除不必要的EP、减少线程同步开销）有时反而能提升推理性能，因为减少了调度开销和缓存污染。
误区三：所有模型都适合统一裁剪方案。不同模型的算子分布差异很大，必须针对具体模型进行定制化裁剪。本课程提供的方法论是通用的，但每个项目的裁剪参数需要单独调优。
误区四：裁剪是一次性工作。当模型更新或业务场景变化时，可能需要重新进行算子覆盖分析。因此，建立自动化的裁剪流水线比一次性手动裁剪更有价值。

本课程的学习路径建议如下：前7章为基础铺垫，建议按顺序学习；第8-16章为裁剪核心，建议边学边动手实验；第17-24章为依赖管理，可结合自己的项目需求选择性深入；第25-30章为工程实践，建议在完成前两个模块后再学习。每章后的练习题和实验任务请务必完成，它们是巩固知识的关键环节。