所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

PEFT与LoRA大模型高效微调

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程适用人群 · PEFT与LoRA在AI领域的定位
课程导入学习目标
02
大模型微调基础
全量微调（Full Fine-tun… · 计算开销 · 显存需求
大模型微调基础Full
03
PEFT核心概念
参数高效微调的定义 · 主要方法分类（Adapter · Prefix Tuning
PEFT核心概念
04
LoRA原理详解
低秩分解的数学基础 · LoRA如何注入低秩矩阵 · 为什么能大幅减少可训练参数
LoRA原理详解
05
LoRA变体与进阶
QLoRA · AdaLoRA · DoRA
LoRA变体
06
环境搭建与工具准备
Python环境 · PyTorch · Transformers
环境搭建工具准备
07
Hugging Face PEFT库入门
PEFT库的核心API（LoraCo… · get_peft_model · TaskType）
HuggingFace
08
数据准备与预处理
微调数据格式（指令微调 · 对话微调） · 数据清洗
数据准备预处理
09
第一个LoRA微调实战
使用PEFT库对一个小型语言模型（如… · 完成文本分类或生成任务
LoRA第一个
10
LoRA配置参数详解
r（秩） · alpha（缩放因子） · dropout
LoRA配置参数详解
11
训练循环与优化器
自定义训练循环 · 优化器选择（AdamW · SGD）
训练循环优化器
12
评估与验证
模型评估指标（准确率 · F1 · 困惑度等）
评估验证
13
QLoRA实战
bit量化原理 · NF4量化 · 双重量化
QLoRAbit
14
多任务与多领域微调
使用LoRA进行多任务学习 · 任务特定LoRA模块 · 动态路由与组合策略
多任务多领域微调
15
LoRA与推理优化
合并LoRA权重到基础模型 · 推理加速 · 显存优化
LoRA推理优化
16
指令微调实战
构建指令数据集 · 使用LoRA微调LLaMA或Chat… · 提升模型遵循指令的能力
指令微调实战构建指令数据集
17
对话模型微调
对话数据格式（如ShareGPT） · 使用LoRA微调对话模型 · 生成流畅且符合上下文的回复
对话模型微调ShareGPT
18
文本生成任务微调
使用LoRA微调类模型进行文章… · 摘要生成 · 代码生成等任务
文本生成任务微调LoRA
19
文本分类任务微调
使用LoRA微调BERT或RoBER… · 主题分类 · 垃圾邮件检测等任务
文本分类任务微调LoRA
20
命名实体识别（NER）微调
使用LoRA微调NER模型 · 处理序列标注任务 · 调整输出头与评估指标
NER命名实体识别
21
LoRA与其他PEFT方法对比
Adapter · Prefix Tuning · Prompt Tuning
LoRAPEFT
22
LoRA的数学与理论深入
低秩矩阵的秩选择 · LoRA的泛化能力 · 与全量微调的关系
LoRA的数学
23
常见问题与调试技巧
训练不收敛 · 损失震荡 · 显存不足
常见问题调试技巧
24
超参数调优
学习率 · 批次大小 · LoRA秩
超参数调优学习率
25
模型合并与导出
将LoRA权重合并到基础模型 · 导出为Hugging Face格式 · ONNX/TensorRT转换
模型合并导出
26
LoRA在多模态模型中的应用
CLIP · LLaVA等视觉-语言模型的LoRA… · 适配器设计
LoRA多模态模型
27
LoRA在领域适应中的应用
金融 · 医疗 · 法律等垂直领域的LoRA微调案例
LoRA领域适应
28
综合实战项目
从零开始使用LoRA微调一个开源大模… · 涵盖数据 · 训练
综合实战项目LoRA
29
性能优化与资源管理
多GPU训练 · DeepSpeed · FSDP
性能优化资源管理
30
课程总结与进阶方向
回顾核心知识点 · 常见误区 · LoRA与PEFT的未来趋势
课程总结进阶方向