VIP20

本课程属于：012-TinyML低功耗推理调度 工业控制与工业互联网 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

mA budget约束下模型量化与推理调度实战

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 核心概念（mA budget · 量化

课程导入学习目标

硬件功耗基础

理解毫安（mA）作为功耗指标 · 典型边缘设备功耗模型 · mA budget的定义与测量方法

硬件功耗基础mA

模型量化原理

量化基本概念（定点/浮点 · 位宽 · 缩放因子

模型量化原理量化基本概念

量化方法分类

PTQ（训练后量化）与QAT（量化感… · 优缺点及适用场景

量化方法分类PTQ

量化粒度与格式

per-tensor · per-channel · per-group量化

量化粒度格式

量化工具链实战

使用PyTorch · ONNX Runtime · TensorRT等工具进行模型量化操…

量化工具链实战PyTorch

mA budget与量化关系

量化位宽对模型大小 · 计算量 · 内存带宽和功耗的影响

功耗测量与剖析

使用功耗仪 · 软件计数器（如RAPL · GPU功耗API）测量推理功耗

功耗测量剖析

推理调度基础

推理调度概念（批处理 · 流水线 · 并行

推理调度基础推理调度概念

低功耗推理策略

动态电压频率调整（DVFS） · 核绑定 · 内存访问优化

低功耗推理策略DVFS

mA budget约束下的量化选型

根据功耗预算选择量化位宽和量化策略 · 平衡精度与功耗

量化模型推理优化

量化模型在CPU/GPU/NPU上的… · 包括算子优化 · 内存布局调整

量化模型推理优化CPU/GPU/NPU

调度算法与功耗感知

功耗感知调度算法（如节能调度 · 截止时间约束调度） · 队列管理与优先级

调度算法功耗感知

边缘场景实战

在树莓派 · Jetson等边缘设备上部署量化模型 · 实现mA budget约束下的推理

边缘场景实战树莓派

云侧推理调度

数据中心场景下 · 考虑功耗的推理服务调度 · 结合容器化与Kubernetes

云侧推理调度数据

混合精度量化实战

使用混合精度（如INT8+INT4）… · 案例演示

混合精度量化实战INT8+INT4

量化与调度联合优化

联合设计量化参数和调度策略 · 实现全局功耗最优 · 介绍协同优化方法

量化调度联合优化

图像分类模型（ResNet/Mobi…

案例实战ResNet/Mobi

目标检测模型（YOLO）在边缘设备上…

案例实战YOLO

自然语言处理模型（BERT）在移动端… · 考虑内存和功耗限制

案例实战BERT

常见问题与调试

量化后精度下降 · 功耗超标 · 调度延迟等问题诊断与解决

常见问题调试

性能与功耗权衡

理解延迟 · 吞吐量 · 精度和功耗之间的权衡

性能功耗权衡

自动化工具与框架

介绍AutoML · NAS · 量化感知搜索

自动化工具框架

模型压缩与量化结合

剪枝 · 蒸馏与量化结合 · 进一步降低功耗

模型压缩量化结合

实时推理调度

实时系统下的功耗约束调度 · 包括EDF · RM算法在功耗感知场景的扩展

实时推理调度实时系统下的功耗…

多模型推理调度

多模型共享硬件资源时的功耗分配与调度 · 实现整体mA budget控制

多模型推理调度多模型共享硬件资…

安全与可靠性

量化与调度对模型鲁棒性 · 系统稳定性的影响 · 以及功耗限制下的可靠性设计

安全可靠性

神经形态计算 · 存内计算 · 自适应量化与调度等前沿技术对mA b…

前沿趋势神经形态计算

综合实战项目

从需求分析 · 模型量化 · 功耗评估

综合实战项目从需求分析

课程总结与进阶路径

回顾核心知识 · 提供进一步学习资源 · 开源项目

课程总结进阶路径