所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。

← 返回上一级

← 返回所属目录咨询 / 购买

FlashAttention注意力推理优化

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 核心问题 · FlashAttention在推理优…

课程导入学习目标

注意力机制基础

标准Attention的计算流程 · 复杂度分析 · 内存瓶颈与推理场景下的挑战

注意力机制基础Attention

FlashAttention原理概览

分块计算 · 重计算 · IO感知算法

FlashAttenti…原理概览

FlashAttention算法细节

前向与反向的tiling策略 · online softmax · 累积更新与数值稳定性

FlashAttenti…算法细节

FlashAttention与标准Attention的数学等价性

证明分块计算与全局softmax的一… · 误差分析

FlashAttenti…Attention

推理优化目标

低延迟 · 高吞吐 · 长序列支持

推理优化目标低延迟

硬件基础与IO模型

GPU内存层次 · HBM/SRAM带宽差异 · 计算与访存比

FlashAttention的CUDA实现要点

kernel设计 · block size选择 · 共享内存使用

FlashAttenti…CUDA

FlashAttention的变体与扩展

FlashAttention-2 · FlashDecoding · Split-K等针对推理的改进

FlashAttenti…的变体

FlashDecoding原理

针对推理中KV cache的并行解码… · 如何加速长序列生成

FlashDecodin…原理

KV Cache与推理内存管理

KV cache的作用 · 存储格式 · 与FlashAttention的配合…

PagedAttention与vLLM

分页管理KV cache · 与FlashAttention结合实…

PagedAttenti…vLLM

推理中的注意力掩码处理

因果掩码 · padding掩码 · alibi等

推理注意力掩码处理

量化与FlashAttention

低精度注意力计算（FP8/INT8）…

FlashAttenti…量化

稀疏注意力与FlashAttention

局部注意力 · 窗口注意力 · 全局等稀疏模式与分块融合

FlashAttenti…稀疏注意力

长序列推理优化

FlashAttention如何支持… · 位置编码与分块策略的适配

长序列推理优化FlashAttenti…

推理框架集成

HuggingFace Transf… · DeepSpeed · TensorRT-LLM等中Flas…

推理框架集成HuggingFace

性能分析工具

使用Nsight · PyTorch Profiler等分… · 定位访存与计算问题

性能分析工具Nsight

FlashAttention的PyTorch实战

使用官方API或自定义kernel · 实现并对比标准Attention的推…

FlashAttenti…PyTorch

FlashAttention的TensorRT部署

构建推理引擎 · 优化图融合与内存复用 · 实现端到端加速

FlashAttenti…TensorRT

FlashAttention与推理服务化

结合FastAPI/ Triton部… · 处理并发请求与动态batch

FlashAttenti…推理服务化

常见问题与调试

数值误差 · kernel崩溃 · 性能不达标

常见问题调试

FlashAttention的局限性

对特定硬件依赖 · 与某些算子融合困难 · 动态形状处理等

FlashAttenti…的局限性

与其他注意力优化方法对比

稀疏注意力 · 线性注意力 · 低秩分解等

其他注意力优化方…稀疏注意力

基于类模型 · 使用FlashAttention优化… · 对比基准并调优

长文档问答系统 · 利用FlashAttention处理… · 实现流式生成

案例实战长文档问答系统

多轮对话服务 · 结合KV cache与FlashDe… · 提升并发吞吐

案例实战多轮对话服务

从零构建一个支持FlashAtten… · 包含模型加载 · 优化

综合项目FlashAtten

前沿进展与趋势

FlashAttention在MoE · 多模态 · 端侧推理中的新应用

前沿进展趋势

课程总结与进阶路径

核心知识回顾 · 推荐资源 · 实践建议与社区参与

课程总结进阶路径