1. 课程导入

边缘人工智能（Edge AI）正在重塑智能系统的部署范式。从工业质检相机、自动驾驶域控制器到智能零售终端，越来越多的推理负载正从云端数据中心迁移到靠近数据源的设备端。这一迁移并非简单地将模型文件复制到设备上——它涉及模型格式转换、量化精度校准、硬件适配、运行时验证以及持续迭代等一系列工程问题。当企业需要管理数十种设备型号、每周更新模型版本时，缺乏系统化流水线的团队往往陷入"模型能跑但不敢发布"的困境。本课程正是为解决这一痛点而设计，聚焦于如何构建一条从模型训练完成到边缘设备稳定运行的持续集成（CI）流水线。

上图展示了本课程贯穿始终的核心框架：一条从模型准备、量化优化、部署测试到发布监控的闭环流水线。与传统的软件CI相比，Edge AI的CI流水线增加了两个显著维度：其一是模型自身的"物理化"过程——浮点权重需要转换为特定硬件支持的整数格式，网络结构需要适配NPU或GPU的算子库；其二是部署环境的异构性——同一模型在不同芯片平台上的表现可能差异巨大，必须在真实硬件或高保真模拟器上验证。理解这一框架，是掌握后续所有章节的基础。

1.1 Edge AI与持续集成的背景：为什么传统CI不够用

核心原理：持续集成（Continuous Integration）源自软件开发实践，强调频繁地将代码变更合并到主干，并通过自动化构建和测试尽早发现问题。然而，Edge AI项目引入了一个传统CI从未处理过的"可变实体"——深度神经网络模型。模型不仅是代码仓库中的一组文件，更是一个具有数值敏感性和硬件依赖性的复杂制品。一个在x86服务器上精度达到95%的图像分类模型，经过INT8量化并部署到某款边缘NPU后，精度可能骤降至88%，推理延迟从预期的15ms恶化到40ms——这些风险无法通过传统单元测试暴露。

Edge AI的CI流水线需要回答三个传统CI不涉及的问题：

• 转换正确性：模型从PyTorch/TensorFlow格式转换为ONNX、TFLite或特定厂商格式时，数值语义是否保持一致？
• 量化鲁棒性：降低数值精度后，模型在边界样本上的表现是否仍然可靠？
• 硬件适配性：模型在目标设备上的实际运行表现（延迟、吞吐、内存占用）是否满足产品需求？

以智能安防摄像头为例，其AI推理流水线包含人脸检测、活体识别、属性分析三个模型。当算法团队更新了人脸检测模型后，传统做法是手动转换格式、在开发板上跑几个测试视频、确认无明显问题后发布。这种流程在模型更新频率低、设备种类少时尚可维持，但当产品线扩展到5种芯片平台、模型每周更新时，手动验证的瓶颈就凸显出来——一次完整的跨平台验证需要3-4人天，且容易遗漏边界场景。

1.2 课程目标：构建可落地的Edge AI CI流水线

本课程的目标不是泛泛讨论AI工程化理论，而是帮助学员掌握一套可落地的方法论和工具链。完成本课程后，学员将能够：

能力维度	具体目标	对应章节
模型转换	掌握ONNX、TFLite、TensorRT等格式的转换流程与验证方法	第3-5章
量化技术	理解PTQ与QAT的适用场景，能够制定量化精度评估方案	第6-8章
测试策略	设计分层测试体系：离线仿真、硬件在环、现场验证	第9-12章
流水线工程	使用Jenkins/GitLab CI构建自动化流水线，管理模型版本与制品	第13-17章
质量门禁	定义量化精度阈值、延迟SLO、内存上限等质量门禁指标	第18-20章
运维反馈	建立模型监控与告警机制，驱动持续优化闭环	第21-25章

课程特别强调"真实约束"：每个技术方案都会讨论其在资源受限设备（如Cortex-M4单片机、低端NPU）上的可行性。学员将学会在"模型精度、推理速度、内存占用、功耗"四个维度之间做出工程权衡，而不是追求单指标最优。

1.3 学习路径与整体框架：从工具到系统

本课程共30章，分为五个递进阶段，每个阶段解决一类核心问题。建议学员按照顺序学习，因为后续章节会频繁引用前面建立的概念和工具。

阶段一：基础与工具链（第1-5章）——建立Edge AI部署的技术底座。除了本章的全局框架外，将深入讲解ONNX作为模型交换格式的细节、TensorFlow Lite与TensorRT的转换流程，以及各主流边缘芯片（如Jetson、RK3588、K210）的算子支持差异。这一阶段的目标是让学员能够独立完成"从训练权重到设备可加载文件"的转换。

阶段二：量化与性能优化（第6-10章）——聚焦模型瘦身与加速。量化是本课程的技术核心之一，将详细对比训练后量化（PTQ）与量化感知训练（QAT）的精度差异、校准数据集的选择策略、以及混合精度量化的工程实现。同时涵盖模型剪枝、知识蒸馏等辅助技术，帮助学员在精度损失可控的前提下最大化推理性能。

阶段三：测试与验证体系（第11-17章）——构建多层防护网。这是Edge AI CI区别于传统CI的关键环节。将学习如何设计离线仿真测试（使用真实推理引擎在PC上模拟）、硬件在环测试（在真实设备上运行）、以及现场长期稳定性测试。重点掌握测试用例的选取策略——不仅要覆盖常规样本，还要构造对抗样本、边界输入和异常数据，确保模型在真实世界的鲁棒性。

阶段四：流水线集成与自动化（第18-24章）——将前述技术固化为自动化流程。使用GitLab CI或Jenkins搭建端到端流水线，实现"代码提交→模型转换→量化→测试→发布"的全自动触发。这一阶段将深入讨论流水线中的缓存策略、并行任务调度、失败重试机制，以及如何将质量门禁（如精度下降不超过0.5%、延迟不超过20ms）嵌入流水线，实现自动阻断。

阶段五：运维与持续演进（第25-30章）——关注模型上线后的生命周期管理。包括OTA更新策略、A/B测试方法、模型漂移检测、以及基于现场数据的自动再训练触发机制。最终章节将综合所有知识，带领学员设计一个完整的Edge AI CI/CD系统架构。

1.4 常见误区与课程设计理念

在多年Edge AI项目咨询中，我们观察到团队最容易陷入以下误区，本课程的设计也刻意针对这些误区进行了强化：

• 误区一：将模型当作普通软件制品管理。模型文件可能高达数百MB，且二进制格式不便于文本diff。课程将介绍Git LFS、DVC（Data Version Control）等专门针对大文件的版本管理方案，并讨论模型注册表（Model Registry）的实践。
• 误区二：量化精度评估只关注整体准确率。一个模型在测试集上整体准确率下降0.3%看似可接受，但可能在某些特定类别（如夜间行人检测）上性能骤降。课程将教授分层精度分析、混淆矩阵对比、以及针对关键场景的专项测试设计。
• 误区三：在模拟器上验证后就认为万事大吉。模拟器无法完全模拟真实硬件的数值行为（如NPU的定点运算舍入模式）。课程强调"硬件在环测试不可替代"，并给出在资源有限情况下如何选择最小验证设备集的策略。
• 误区四：CI流水线只做"通过/不通过"的二元判断。Edge AI的测试结果往往是连续值（精度、延迟、内存），需要设置合理的阈值区间和趋势分析。课程将介绍如何利用历史数据动态调整质量门禁，避免"过严导致无法发布"或"过松导致问题漏出"。

本课程的设计理念可以概括为"三实"：实战（所有技术均来自真实项目）、实用（提供可直接复用的脚本和配置模板）、实效（以最终部署效果为检验标准）。每一章都包含一个完整的案例闭环——从问题定义、方案设计、实施步骤到结果复盘，确保学员不仅理解概念，更能将其转化为解决实际问题的能力。