VIP8
本课程属于:032-AI编译器与NPU算子适配 AI智能与边缘计算工程 · 共 8 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

推理引擎编译器适配实战

📚 共计 30 章节
01
编译器基础回顾
从源代码到机器码的旅程,编译器前端、中端、后端的职责划分。
基础编译原理
02
推理引擎概览
主流推理引擎(TensorRT、ONNX Runtime、OpenVINO)的架构与定位。
TensorRTONNXOpenVINO
03
适配层核心概念
什么是编译器适配层?为什么需要它?适配层与推理引擎的关系。
适配层架构
04
IR中间表示
推理引擎中的IR设计原则,Graph IR与Linear IR的区别。
IRGraphLinear
05
算子注册与映射
如何将框架算子映射到编译器算子,注册机制的实现。
算子注册映射
06
图优化Pass
常量折叠、算子融合、死代码消除等经典Pass的实现思路。
Pass融合优化
07
内存规划与分配
静态内存规划、内存复用、池化策略。
内存池化复用
08
量化适配
对称量化、非对称量化、量化感知训练与后训练量化的适配。
量化INT8QAT
09
代码生成
从IR到目标代码的生成流程,指令选择与调度。
代码生成指令
10
JIT编译
即时编译的原理,在推理引擎中的落地实践。
JIT动态编译
11
AOT编译
提前编译的优势与挑战,静态编译流程。
AOT静态
12
算子库集成
如何对接cuDNN、MKL、oneDNN等底层算子库。
cuDNNMKLoneDNN
13
自定义算子开发
编写自定义算子的完整流程,注册与测试。
自定义算子
14
Shape推导与动态Shape
静态Shape与动态Shape的处理策略。
Shape动态
15
数据格式适配
NHWC、NCHW、NC1HWC0等数据排布的转换。
NHWCNCHW排布
16
多后端支持
CPU、GPU、NPU不同后端的适配策略。
CPUGPUNPU
17
性能Profiling
如何对编译后的模型进行性能分析,瓶颈定位。
Profiling性能
18
调试与日志
编译器适配层的调试技巧,日志分级与追踪。
调试日志
19
单元测试与集成测试
测试框架的选择,测试用例的设计。
测试单元集成
20
版本兼容性
推理引擎版本升级时的适配策略。
兼容版本
21
跨平台编译
Windows、Linux、macOS、ARM等平台的编译适配。
跨平台ARM
22
模型格式解析
解析ONNX、TensorFlow、PyTorch等模型格式。
ONNXTFPyTorch
23
子图分割
将大图分割为子图,分配到不同后端执行。
子图分割
24
算子精度验证
逐算子精度比对,误差分析。
精度验证
25
编译缓存
缓存编译结果,加速重复编译。
缓存加速
26
异步编译
编译与执行流水线化,提升吞吐。
异步流水线
27
安全与沙箱
编译过程中的安全隔离,沙箱机制。
安全沙箱
28
社区与生态
主流开源编译器适配项目的架构分析。
开源生态
29
实战案例
从零开始为一个新算子编写编译器适配。
实战算子
30
未来趋势
MLIR、Triton等新技术对编译器适配的影响。
MLIRTriton趋势