端侧大模型概述：部署挑战与典型应用场景
随着大模型参数规模从数十亿跃升至数千亿，业界逐渐形成共识：仅靠云端集中式推理无法满足实时性、隐私性和离线可用性的刚性需求。端侧大模型（On-Device LLM）将模型压缩后部署于手机、PC、智能座舱、IoT设备中，借助NPU（神经网络处理单元）的并行计算能力实现本地推理。本章将系统梳理端侧部署的核心挑战、典型应用场景，并给出工程化的评估框架与落地路径。
3.1 端侧部署的核心挑战
端侧大模型与云端推理的本质差异在于资源边界。云端拥有数百GB显存、千瓦级功耗预算和高速互联，而端侧设备通常只有4-12GB内存、5-15W整机功耗预算，且NPU的算力密度远低于数据中心GPU。这种资源约束催生了四个层面的挑战。
3.1.1 存储与带宽瓶颈
以7B参数模型为例，FP16精度下权重占用约14GB，远超手机内存容量。即使采用INT4量化压缩至3.5GB，仍需考虑激活值、KV Cache和运行时开销。更关键的是内存带宽——NPU每读取一次权重都要消耗带宽，以骁龙8 Gen 3为例，其LPDDR5X带宽约68GB/s，而7B模型生成一个需要读取全部权重，意味着理论最大生成速度仅约19 /s（68GB/s ÷ 3.5GB），实际还要扣除系统开销。
3.1.2 内存容量与KV Cache压力
长上下文场景下KV Cache呈线性增长。以Llama-2-7B为例，上下文长度2048时KV Cache约1MB，但扩展到32K时达到16MB。对于端侧设备，这直接挤占应用可用内存，导致系统级OOM。工程上需要结合窗口注意力（Sliding Window）、KV Cache量化或早停策略来控制峰值内存。
3.1.3 功耗与散热约束
NPU峰值功耗可达5-8W，持续运行会导致SoC温度超过85°C触发降频。实际部署中需采用"脉冲式推理"策略：单次推理尽量在2秒内完成，然后迅速降频。以语音助手为例，一次唤醒词检测+意图识别应控制在1.5秒内，平均功耗低于3W。
3.1.4 算子兼容性与精度损失
端侧NPU对Transformer中Softmax、LayerNorm、GELU等算子的支持程度不一。部分NPU缺少高精度指数运算单元，需用多项式近似替代，导致精度下降。此外，INT4量化对激活值敏感，需采用混合精度（敏感层保留INT8）或/AWQ等高级量化算法。
| 挑战维度 | 典型表现 | 量化指标 | 缓解手段 |
|---|---|---|---|
| 存储带宽 | 权重读取耗时 | 7B模型INT4约3.5GB | 量化、剪枝、权重共享 |
| 内存容量 | KV Cache膨胀 | 32K上下文约16MB | 窗口注意力、Cache量化 |
| 功耗散热 | SoC降频 | 持续>5W触发降频 | 脉冲推理、动态电压频率调整 |
| 算子兼容 | Softmax精度损失 | PPL增加0.3-0.8 | 混合精度、算子替换 |
3.2 典型应用场景深度拆解
端侧大模型并非简单地将云端模型"缩小"，而是针对具体场景重新设计推理链路。以下三个场景最具代表性，分别对应语音交互、视觉生成和文本处理三类核心能力。
3.2.1 语音助手：全链路端侧化
传统语音助手依赖云端ASR+NLU，存在网络延迟和隐私风险。端侧方案将语音活动检测（VAD）、语音识别（ASR）、意图理解（LLM）和语音合成（TTS）全部部署在本地。以某头部手机厂商的实践为例：
- VAD模块：使用0.5B参数的小型CNN模型，延迟<50ms，功耗<50mW
- ASR模块：采用Conformer-CTC架构，量化至INT8后约200MB，实时率0.3
- LLM模块：使用1.5B参数模型，INT4量化后约800MB，生成速度15 /s
- TTS模块：基于VITS轻量版，单句合成<200ms
整个链路从用户说话结束到语音回复开始，端到端延迟控制在1.2秒内，且完全离线可用。关键优化点在于：ASR输出的文本直接作为LLM的prefix，避免中间格式转换；LLM生成的流式送入TTS，实现"边说边合成"。
3.2.2 图像生成：Stable Diffusion的端侧适配
Stable Diffusion（SD）在端侧部署的难点在于UNet的反复迭代。以SD-Turbo为例，4步采样仍需约2亿次MAC运算。某旗舰手机的实际部署方案：
- 模型压缩：将UNet从INT8进一步量化至INT4，配合蒸馏将参数量从860M降至520M
- 算子融合：将CrossAttention中的QKV投影合并为单个GEMM，减少NPU调度开销
- 内存复用：复用中间特征图缓冲区，峰值内存从1.2GB降至680MB
- 分块推理：将512×512图像分为4个256×256块分别生成，再拼接融合
最终实现单张512×512图像生成时间约4.8秒，功耗约4.2W。但需注意分块推理会引入接缝伪影，需在后处理中加入高斯羽化融合。
3.2.3 智能办公：文档摘要与邮件撰写
智能办公场景对延迟要求相对宽松（3-5秒可接受），但强调长文本处理能力和隐私保护。某PC厂商在端侧部署了3B参数的文档摘要模型：
- 输入处理：将PDF/Word转换为纯文本，按段落切分并构建层级索引
- 分块摘要：每512 生成一个局部摘要，再对摘要进行二次摘要
- 关键信息抽取：使用正则+LLM结合的方式提取日期、金额、决策事项
- 输出格式：生成结构化摘要（要点列表+关键数据表）
该方案在Intel Core Ultra处理器上运行，利用其集成的NPU（约10 TOPS），处理一份20页文档（约8000 ）耗时约6秒，内存占用峰值1.1GB。相比云端方案，数据完全不出设备，满足企业合规要求。
3.3 部署评估框架与决策流程
面对具体业务需求，工程师需要一套可量化的评估方法来判断"是否适合端侧部署"以及"选择何种优化策略"。以下给出四步评估法：
3.3.1 第一步：需求边界定义
明确三个关键参数：最大可接受延迟（如语音助手<1.5s）、最小可用精度（如BLEU下降不超过5%）、峰值内存预算（如<1.5GB）。这些参数直接决定模型规模上限。
3.3.2 第二步：模型-硬件匹配度分析
建立模型算子清单与NPU支持矩阵的映射表。重点检查：
- 是否包含NPU不支持的算子（如某些动态shape操作）
- 量化敏感性：对INT4敏感的层占比
- 内存访问模式：是否存在大量非连续访问
3.3.3 第三步：原型验证与调优
在目标硬件上运行量化后的模型，测量实际延迟、功耗和内存。使用性能分析工具定位瓶颈：
# 以高通平台为例
adb shell "echo 1 > /sys/class/devfreq/3d0000.qcom,kgsl-3d0/governor"
adb shell "cat /proc/npu_usage" # 查看NPU占用率
adb shell "cat /sys/class/thermal/thermal_zone0/temp" # 监控温度3.3.4 第四步：灰度发布与监控
采用"端侧为主、云端兜底"的混合架构，通过远程配置动态调整分流比例。监控指标包括：端侧推理成功率、平均延迟P95、崩溃率、用户反馈。
| 评估维度 | 通过标准 | 失败处理 |
|---|---|---|
| 延迟 | P95 < 1.5×目标值 | 进一步量化或裁剪 |
| 精度 | 指标下降 < 5% | 混合精度或回退云端 |
| 内存 | 峰值 < 预算的90% | 内存复用或分块推理 |
| 功耗 | 平均 < 3W | 降低频率或减少并发 |
3.4 常见误区与工程复盘
在多个端侧大模型项目的交付过程中，我们总结出以下高频误区，这些教训对后续章节的NPU优化实践至关重要。
3.4.1 案例复盘：智能座舱语音助手
背景：某车企需要在车机中部署语音助手，要求全离线运行，延迟<1秒，支持连续对话。
初始方案：直接使用云端开源的7B模型，INT8量化后部署于高通SA8295P平台。
实测结果：首延迟1.8秒，且连续对话时内存溢出（KV Cache累积）。
分析过程：
- 性能剖析显示，70%时间消耗在权重读取，而非计算
- 内存分析发现，8轮对话后KV Cache占用达380MB
- 进一步测试发现，NPU的INT8算力利用率仅45%
优化措施：
- 将模型替换为3B参数版本，INT4量化后权重降至1.6GB
- 引入对话级KV Cache管理：每轮对话结束后压缩历史Cache
- 将LayerNorm和Softmax改为NPU原生算子，减少CPU-GPU间数据拷贝
- 采用流式输出：首延迟降至400ms，后续间隔80ms
结果对比：优化后首延迟400ms（降低78%），连续20轮对话内存稳定在1.2GB以内，NPU利用率提升至72%。
风险与代价：INT4量化导致部分专业术语识别错误率上升0.8%，通过添加热词表补偿；流式输出需要重写交互逻辑，增加约2周开发量。
复盘经验：端侧部署必须"以硬件为起点"设计模型，而非"先选模型再适配硬件"。NPU的带宽、缓存层级和算子支持直接决定模型架构选择。
3.5 端侧大模型的技术演进方向
当前端侧大模型正处于快速迭代期，以下三个趋势将直接影响NPU加速技术的走向：
- 多模态融合：语音+图像+文本的统一模型，要求NPU支持跨模态注意力计算
- 持续学习：端侧模型根据用户行为进行小批量微调，需要NPU支持在线反向传播
- 模型分片：将大模型按层拆分，部分在端侧、部分在边缘服务器，需要NPU支持高效通信原语