VIP20
本课程属于：035-工业缺陷检测模型移植实战 AI视觉与工业视觉 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

模型移植中的硬件适配与性能调优

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
硬件适配概述
模型移植的挑战 · 硬件抽象层(HAL)的概念 · 不同硬件平台(CPU/GPU/NPU…
硬件适配概述模型移植的挑战
02
计算单元适配
SIMD指令集利用 · 张量计算核心映射 · 算子融合与拆分策略
计算单元适配SIMD
03
内存子系统优化
内存层级结构分析 · 数据布局优化(NCHW vs NHW… · 内存池与复用机制
内存子系统优化内存层级结构分析
04
带宽与延迟优化
DMA传输优化 · 数据预取技术 · 计算与访存重叠
带宽延迟优化
05
量化与精度适配
INT8/FP16量化原理 · 校准数据集选择 · 混合精度部署策略
量化精度适配
06
算子库适配
常用算子库(OneDNN/Tenso… · 自定义算子开发流程 · 算子性能Profiling
算子库适配OneDNN/Tenso
07
编译器优化
TVM/MLIR/XLA编译栈介绍 · 图优化与Pass机制 · 自动调优(AutoTVM/AutoS…
编译器优化TVM/MLIR/XLA
08
运行时调度
多线程任务调度 · 异步执行模型 · CPU/GPU/NPU异构调度策略
运行时调度多线程任务调度
09
性能Profiling工具
NVIDIA Nsight/Inte… · 硬件计数器解读 · 性能瓶颈定位
Profiling性能
10
端侧部署优化
模型压缩(剪枝/蒸馏) · 端侧推理引擎(TNN/MNN/NCN… · 功耗与性能平衡
端侧部署优化模型压缩
11
多核并行优化
OpenMP/MPI使用 · 任务分解与负载均衡 · NUMA感知调度
多核并行优化OpenMP/MPI
12
缓存优化
缓存行对齐 · 缓存污染避免 · 数据局部性优化
缓存优化缓存行对齐
13
流水线优化
指令流水线 · 软件流水线 · 循环展开与软件预取
流水线优化指令流水线
14
向量化优化
自动向量化 · 手写SIMD intrinsic · SVE/RVV向量扩展适配
向量化优化自动向量化
15
稀疏计算优化
稀疏矩阵存储格式(CSR/CSC/C… · 稀疏算子实现 · 结构化稀疏与半结构化稀疏
稀疏计算优化CSR/CSC/C
16
图优化
算子融合(Conv+BN+ReLU) · 常量折叠 · 死代码消除
图优化Conv+BN+ReLU
17
内存带宽优化
数据复用分析 · tiling策略 · 分块大小选择
内存带宽优化数据复用分析
18
异构计算
CPU+GPU/NPU协同计算 · 任务划分策略 · 数据同步与通信优化
异构计算CPU+GPU/NPU
19
动态形状处理
动态batch支持 · 动态尺寸输入优化 · padding策略
动态形状处理batch
20
低精度计算
FP8/INT4量化 · 混合精度训练与推理 · 量化感知训练(QAT)
低精度计算FP8/INT4
21
算子性能调优
算子实现优化 · 循环优化 · 内存访问模式优化
算子性能调优算子实现优化
22
模型结构适配
Transformer/CNN/RN… · 注意力机制优化 · 激活函数选择
模型结构适配Transformer/…
23
编译时间优化
增量编译 · 缓存编译结果 · 预编译与JIT选择
编译时间优化增量编译
24
部署工具链
ONNX/TensorFlow Li… · 模型格式优化 · 版本兼容性处理
部署工具链ONNX/TensorF…
25
性能基准测试
基准测试方法论 · 性能指标(吞吐/延迟/功耗) · 对比分析
性能基准测试基准测试方法论
26
功耗优化
DVFS策略 · 计算与内存功耗平衡 · 低功耗模式设计
功耗优化DVFS
27
实时性优化
延迟抖动控制 · 优先级调度 · 中断处理优化
实时性优化延迟抖动控制
28
安全与可靠性
模型保护(加密/混淆) · 硬件安全模块利用 · 故障恢复机制
安全可靠性
29
多模型部署
模型流水线 · 模型并行 · 内存共享与隔离
多模型部署模型流水线
30
未来趋势
存算一体 · 光计算 · 量子计算对模型移植的影响
未来趋势存算一体