课程导入：学习目标、适用人群、课程结构与端侧AI与PTQ精度评估的整体背景
欢迎来到《Edge AI端侧模型PTQ精度评估案例》课程的第一章。在端侧AI（Edge AI）快速落地的今天，模型压缩与高效推理已成为产品化的核心瓶颈。后训练量化（Post-Training Quantization, PTQ）因其无需重新训练、数据需求少、部署流程短等优势，成为工业界最常用的模型轻量化手段。然而，PTQ并非简单的“降位宽”操作，其精度评估涉及数据分布、算子敏感性、硬件指令集、校准算法等多个维度的复杂权衡。本章作为全课程的导入，将明确学习目标、界定适用人群、拆解课程结构，并系统梳理端侧AI与PTQ精度评估的整体技术背景，为后续章节的深入案例拆解奠定坚实的认知基础。
1.1 学习目标：从“能跑”到“跑得准、跑得快”
本课程的学习目标并非仅仅教会你如何调用某个量化工具，而是帮助你建立一套完整的、可复用的PTQ精度评估方法论。在端侧AI项目中，模型量化后“能跑”只是起点，“跑得准”（精度损失可控）与“跑得快”（推理延迟满足实时性）才是工程落地的关键。具体而言，完成本课程后，你将具备以下四项核心能力：
- 理解PTQ精度损失的根源：能够从数值表示、算子敏感性、数据分布偏移三个层面解释量化误差的产生机制，而非停留在“量化会掉点”的感性认知。
- 掌握精度评估的完整流程：包括校准数据集构建、量化参数计算、离线指标评估、硬件在环测试、回归对比分析等关键环节，并能够针对不同模型结构（CNN、Transformer、LSTM）调整评估策略。
- 具备问题定位与调优能力：当量化后模型精度下降超过预期时，能够通过逐层误差分析、敏感层定位、混合精度配置等手段进行针对性优化，而不是盲目尝试所有量化选项。
- 建立工程化评估思维：理解精度评估不仅是技术问题，还涉及测试资源规划、自动化流水线搭建、多版本模型对比管理等工程实践，能够将评估流程嵌入到CI/CD体系中。
1.2 适用人群：谁需要这门课程？
本课程面向端侧AI开发链条中的各类技术角色，无论你是算法工程师、系统工程师还是测试开发工程师，都能从中找到与自身工作强相关的知识模块。具体适用人群包括：
| 角色 | 工作痛点 | 课程收益 |
|---|---|---|
| 算法工程师 | 模型量化后精度下降，但不知道问题出在哪一层 | 掌握逐层敏感度分析方法，学会混合精度配置策略 |
| 嵌入式/系统工程师 | 量化模型在硬件上推理结果与仿真不一致 | 理解硬件数值行为差异，学会在环测试方法 |
| 测试开发工程师 | 缺乏系统的精度评估流程和自动化工具 | 获得完整的评估流水线设计思路和自动化脚本框架 |
| 技术管理者 | 难以评估量化方案的技术风险和资源投入 | 建立量化风险评估模型，合理规划项目里程碑 |
需要特别说明的是，本课程假设学习者已经具备基础的深度学习知识（了解卷积、全连接、激活函数等基本概念），并对模型部署有初步认知。如果你尚未接触过任何模型压缩技术，建议先补充阅读TensorFlow Lite或ONNX Runtime的量化基础文档，再进入本课程的学习。
1.3 课程结构：从原理到实战的递进路径
本课程共30章，按照“基础认知 → 方法工具 → 案例实战 → 进阶调优”四个阶段组织内容，形成一条从理论到实践的完整学习路径。课程结构设计遵循“每章解决一个具体问题”的原则，确保学习者能够在有限时间内获得可立即应用于工作的技能。
课程内容的时间分配与学习重点如下：
- 基础篇（第1-6章）：聚焦PTQ原理与精度评估基础，包括量化数学基础、校准算法对比、评估指标体系、数据分布分析等。此阶段的目标是建立统一的术语体系和评估框架。
- 方法篇（第7-14章）：深入各类评估方法与工具链，涵盖逐层误差分析、敏感度扫描、模拟量化与硬件在环测试、主流框架（TensorRT、TFLite、ONNX Runtime）的评估实践。此阶段强调动手操作。
- 案例篇（第15-24章）：通过10个真实工业案例，覆盖图像分类、目标检测、语义分割、语音识别、NLP等典型端侧任务，每个案例都包含完整的评估过程、问题定位和调优方案。
- 进阶篇（第25-30章）：探讨混合精度量化、量化感知训练与PTQ的协同、自动化评估流水线、多硬件平台适配策略等高级主题，帮助学习者从“会用”走向“精通”。
1.4 端侧AI与PTQ精度评估的整体背景
理解PTQ精度评估的重要性，需要先看清端侧AI发展的宏观趋势。近年来，端侧AI（Edge AI）已成为人工智能产业落地的主要方向之一。与云端AI相比，端侧AI在数据隐私、网络依赖、响应延迟和功耗控制方面具有不可替代的优势。然而，端侧设备的硬件资源严重受限——嵌入式CPU主频通常在1-2GHz，内存带宽仅为服务器的几十分之一，且没有独立GPU或NPU的算力加持。这种硬件约束直接推动了模型压缩技术的快速发展。
在众多模型压缩技术中（包括剪枝、蒸馏、低秩分解、量化），量化因其“即插即用”的特性而备受青睐。量化将模型权重和激活值从32位浮点数（FP32）降低到8位整数（INT8）甚至更低位数（INT4、INT2），从而将模型体积缩小4倍以上，推理速度提升2-4倍，内存带宽需求大幅降低。然而，量化带来的数值精度损失是不可避免的，尤其对于激活值分布不均匀或存在极端离群值的模型，精度损失可能超过任务可接受范围。
PTQ（后训练量化）作为量化的一种实现方式，其核心思想是：在模型训练完成后，仅通过少量校准数据统计激活分布，计算量化参数（scale和zero-point），然后直接将浮点模型转换为定点模型。与量化感知训练（QAT）相比，PTQ不需要重新训练模型，因此部署周期短、计算资源消耗小，特别适合快速迭代的工业场景。但PTQ的精度控制难度更高，因为它无法通过训练过程自适应地调整权重分布来适应量化误差。
PTQ精度评估正是在这一背景下成为端侧AI工程实践中的关键环节。一个完整的PTQ精度评估体系需要回答以下核心问题：
- 评估什么：是评估模型在标准测试集上的任务指标（如mAP、Accuracy），还是评估量化模型与浮点模型逐层输出的数值偏差？两者各有侧重，需要结合使用。
- 用什么评估：是使用离线仿真工具（如TensorRT的量化模拟），还是在真实硬件上运行推理？离线仿真速度快但可能存在数值行为差异，硬件在环测试结果真实但成本高。
- 如何设定阈值：精度损失的容忍度因任务而异——人脸识别可能要求99%以上的准确率保持率，而简单的唤醒词检测可能允许5%以内的性能下降。
- 如何定位问题：当精度下降超标时，是校准数据集代表性不足？是某个敏感算子（如Depthwise卷积、GELU激活）量化误差过大？还是硬件不支持某些算子的INT8实现导致回退到FP32？
从行业实践来看，PTQ精度评估正在从“事后验证”走向“前置设计”。优秀的工程团队会在模型设计阶段就考虑量化友好性，例如使用ReLU替代GELU、避免极端离群值、限制通道数等。同时，自动化评估流水线（包括自动校准集生成、自动敏感层扫描、自动混合精度配置）正在成为端侧AI平台的基础设施能力。
1.5 本章总结与课程学习路径
本章作为课程导入，明确了PTQ精度评估在端侧AI工程中的核心地位。我们梳理了学习目标（理解原理、掌握流程、具备调优能力、建立工程思维），界定了适用人群（算法、系统、测试、管理四类角色），展示了课程结构（基础→方法→案例→进阶的递进路径），并从端侧AI硬件约束、量化技术演进、PTQ评估核心问题三个维度阐述了整体背景。
从下一章开始，我们将正式进入PTQ精度评估的技术细节。第2章将深入讲解量化数学基础，包括对称量化与非对称量化的原理、scale和zero-point的计算方法、以及不同位宽（INT8/INT16/INT4）的精度与性能权衡。建议你在学习后续章节时，始终带着本章提出的四个核心问题（评估什么、用什么评估、如何设定阈值、如何定位问题）去思考每个案例，这将帮助你构建系统化的评估思维框架。
最后需要强调的是，PTQ精度评估不是一门“纯理论”学问，而是需要大量动手实践的工程技能。本课程每一章都配有可运行的代码示例和数据集，建议你在阅读案例时同步动手复现，并尝试修改参数观察结果变化。只有通过实践，才能真正理解量化误差的产生机制和评估方法的适用边界。