VIP20
本课程属于:025-AI芯片架构 AI算力与GPU工程 · 共 20 门相关课程,组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

AI芯片算力调度实战

📚 共计 30 章节
第1章
AI芯片概述:从GPU到NPU
AI芯片的演进之路与算力调度的重要性。
基础概念
第2章
计算单元剖析
深入理解Tensor Core、SIMD单元与脉动阵列的工作原理。
硬件核心
第3章
内存层次结构
全局内存、共享内存与寄存器文件,数据搬移的代价。
存储性能
第4章
任务调度模型
从单核到多核,同步与异步调度模型解析。
调度并行
第5章
算子映射策略
如何将矩阵乘、卷积等算子高效映射到硬件单元。
算子映射
第6章
数据流优化
输入驻留、权重驻留与输出驻留三种数据流的选择。
数据流优化
第7章
流水线并行
将模型切分到不同设备,解决显存墙问题。
并行显存
第8章
张量并行
在单卡内对张量进行切分,提升计算效率。
张量切分
第9章
数据并行
多卡训练中的梯度同步与AllReduce算法。
分布式梯度
第10章
混合精度训练
FP16/BF16与FP32的混用,算力与精度的平衡。
精度性能
第11章
算子融合技术
将多个小算子合并为一个大算子,减少Kernel Launch开销。
融合优化
第12章
计算图优化
静态图与动态图的调度差异,图编译技术。
图优化编译
第13章
内存复用与重计算
以时间换空间,解决显存不足的经典手段。
内存重计算
第14章
异步执行与Stream
利用CUDA Stream实现计算与数据传输的重叠。
异步CUDA
第15章
负载均衡
解决多卡训练中的“木桶效应”,避免某张卡拖后腿。
均衡多卡
第16章
动态形状处理
处理变长输入时的调度策略与Padding优化。
动态Padding
第17章
稀疏计算加速
利用稀疏矩阵特性,跳过无效计算提升吞吐。
稀疏加速
第18章
量化部署调度
INT8/INT4量化后的算子调度与校准。
量化部署
第19章
多租户调度
云场景下多个推理任务共享芯片资源的隔离与抢占。
多租户云
第20章
实时性保障
自动驾驶等场景下的硬实时调度与延迟抖动控制。
实时自动驾驶
第21章
功耗与热管理
DVFS调度策略,在性能与功耗之间找平衡。
功耗DVFS
第22章
编译器前端
从PyTorch/TensorFlow模型到中间表示(IR)的转换。
编译器IR
第23章
编译器后端
指令选择、寄存器分配与指令调度的硬件适配。
后端指令
第24章
性能剖析工具
使用Nsight Systems/Profiler定位调度瓶颈。
工具性能
第25章
Roofline模型
用Roofline分析算力瓶颈是计算密集型还是访存密集型。
分析模型
第26章
模拟器与仿真
在流片前用模拟器验证调度策略的正确性。
模拟验证
第27章
异构计算调度
CPU+GPU+NPU的协同调度与任务分配。
异构协同
第28章
分布式调度框架
Horovod、DeepSpeed与Megatron的调度原理。
框架分布式
第29章
调度系统实战
从零搭建一个简单的算子调度器(Python模拟)。
实战Python
第30章
未来趋势
存算一体、光计算与Chiplet对调度系统的挑战。
前沿趋势