2. 视觉模型部署场景与约束分析

在把视觉模型真正部署到业务现场之前，必须先回答一个比“模型精度多少”更关键的问题：这个模型要跑在什么硬件上、承担什么任务、被什么指标约束？同一个骨干网络，放在云端 GPU 集群、边缘工控机或手机 SoC 上，其可接受的量化策略、算子实现和精度损失容忍度完全不同。本节从任务特点、硬件约束和指标定义三个维度建立部署场景的分析框架。

一、任务特点决定输出结构与量化敏感度

视觉任务大致可分为分类、检测、分割三大类，它们在部署时的差异不只是“输出不同”，而是量化误差传播路径不同。

分类任务输出单一类别概率向量，网络末端通常是全局池化加全连接。量化误差主要影响 logits 的相对大小，只要 top-1 类别未被翻转，精度指标就不变。因此分类模型对 INT8 量化的容忍度相对较高，常见 ResNet-50 在 INT8 下 top-1 掉点可控制在 0.5% 以内（示例量级，实际取决于校准集与量化方案）。

检测任务输出的是边界框坐标与类别置信度，属于回归与分类的混合输出。坐标回归对数值扰动敏感：一个 anchor 的偏移量被量化噪声推过阈值，就可能产生漏检或重复框。检测头中的卷积层、尤其是小目标分支，往往需要保留更高位宽或采用逐通道量化。此外，NMS 后处理通常不在量化图内，需单独考虑其输入置信度的量化误差。

分割任务是逐像素分类，输出与输入同分辨率或经过上采样的密集预测。它对量化最敏感，因为每个像素的类别决策都会累积误差，边缘区域的低置信度像素容易被噪声推向错误类别，直接拉低 mIoU。分割网络中的转置卷积、上采样和跳跃连接是量化误差放大的重点位置。

二、硬件约束：云端、边缘、移动端的三条边界

部署硬件决定了可用的算力、内存带宽和指令集，也决定了量化能走到哪一步。

云端 GPU通常具备 FP16、INT8 张量核心，显存带宽高，可承受较大 batch。约束主要来自吞吐成本和延迟 SLA，量化目标是提升吞吐、降低显存占用，精度损失容忍度相对宽松。

边缘设备（如 Jetson、工控机、NPU 加速卡）算力有限，内存通常为几 GB 到十几 GB，功耗在 10～50W 量级。这类平台往往只支持 INT8 甚至混合精度，且对算子支持有白名单限制。量化不仅是优化手段，更是能否跑起来的前提。

移动端 SoC（手机、平板、嵌入式视觉模组）受功耗和散热严格约束，CPU/GPU/NPU 异构，内存带宽是瓶颈。移动端量化常需 INT8 甚至 INT4，并配合算子融合、内存复用。此时精度保持的难度最大，往往需要量化感知训练而非训练后量化。

三、指标定义：延迟、吞吐、内存与功耗

这四个指标经常被混用，但在部署验收时必须分别定义清楚，否则优化方向会跑偏。

延迟（Latency）指从输入数据就绪到输出结果可用的时间，单位毫秒。工程上要区分三种口径：单帧端到端延迟（含预处理、推理、后处理）、纯推理延迟（仅网络前向）、以及 P99 延迟（长尾帧的耗时）。实时视频场景通常要求端到端延迟低于帧间隔，例如 30 FPS 对应 33ms，若 P99 超过该值就会出现卡顿。

吞吐（Throughput）指单位时间处理的样本数，常用 FPS 或 QPS 表示。吞吐与延迟并非线性关系：增大 batch 可提升吞吐，但会拉高单帧延迟。云端追求高吞吐摊薄成本，边缘和移动端更关注延迟稳定性。

内存（Memory）包含两部分：模型权重体积和推理峰值内存。量化最直接的价值就是把 FP32 权重压到 INT8，体积降为约 1/4；但激活值内存取决于输入分辨率和中间特征图，分割任务因高分辨率特征图往往峰值内存更大。移动端还要考虑内存带宽，因为带宽不足会让算力无法跑满。

功耗（Power）在移动端和边缘端是硬约束，通常用瓦特或能效比（FPS/W）衡量。量化降低位宽后，乘加运算的能耗下降，同时减少内存访问，能效比通常显著提升。但要注意，若量化导致需要更多次重复推理才能达到精度，整体能效可能反而变差。

四、场景约束的联合判断

实际部署中，这四个指标互相牵制。一个可操作的判断顺序是：先确定硬件平台和功耗上限，再根据任务类型确定精度底线，然后在该平台上测量延迟与内存，最后用吞吐验证是否满足业务并发。例如，一个移动端分割任务，功耗上限 3W，mIoU 底线 0.75，那么 INT8 可能是唯一可行位宽；若 INT8 后 mIoU 只有 0.70，就需要引入量化感知训练或对分割头保留 FP16，而不是继续压缩骨干网络。

综上，部署场景分析的核心是把“任务—硬件—指标”三者对齐：任务决定量化敏感度，硬件决定可用位宽与算子，指标决定优化目标与验收标准。只有这三者同时明确，后续的量化策略选择才有依据。