所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。

← 返回上一级

← 返回所属目录咨询 / 购买

LoRA高效微调大语言模型实战课程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程适用人群 · 整体学习路径与实战项目预览

课程导入学习目标

大语言模型基础

Transformer架构 · 预训练与微调的区别 · 常见开源模型（LLaMA

大语言模型基础Transformer

参数高效微调概述

全量微调 vs 参数高效微调（PEF… · 主流方法（Adapter · Prefix-Tuning

参数高效微调概述vs

LoRA核心原理

低秩分解 · 低秩矩阵的数学基础 · LoRA如何注入到注意力层

LoRA核心原理

LoRA变体与扩展

QLoRA · AdaLoRA · DoRA

环境搭建与工具准备

Python环境 · PyTorch · Transformers

环境搭建工具准备

数据集准备与处理

指令微调数据格式（Alpaca · ShareGPT） · 数据清洗

数据集准备处理

加载预训练模型

使用Transformers加载模型 · 配置模型参数 · 处理tokenizer与特殊toke…

加载预训练模型Transformers

LoRA配置与注入

使用PEFT库配置LoRA参数（r · alpha · dropout

训练循环实现

自定义训练循环 · 损失函数 · 优化器选择（AdamW）

训练循环实现自定义训练循环

使用Hugging Face Trainer微调

Trainer参数配置 · TrainingArguments · Callback

bit量化基础 · bitsandbytes配置 · QLoRA微调流程

多卡训练与分布式

DataParallel · DistributedDataPar… · DeepSpeed

多卡训练分布式

模型评估与验证

评估指标（BLEU · ROUGE · 准确率）

模型评估验证

模型推理与部署

加载LoRA权重 · 合并LoRA权重 · 使用vLLM/TGI部署

模型推理部署

案例实战一

中文对话模型微调——使用LoRA微调… · 构建领域对话助手

案例实战一LoRA

案例实战二

代码生成模型微调——使用LoRA微调… · 实现代码补全与生成

案例实战二LoRA

案例实战三

文本分类任务微调——使用LoRA微调… · 完成情感分析

案例实战三LoRA

案例实战四

多模态模型微调——使用LoRA微调L… · 实现图文理解

案例实战四LoRA

案例实战五

领域知识注入——使用LoRA微调金融… · 提升专业问答能力

案例实战五LoRA

LoRA超参数调优

学习率 · 秩r · alpha

LoRA超参数调优

避免过拟合与灾难性遗忘

正则化 · 早停 · 数据增强

避免过拟合灾难性遗忘

LoRA权重合并与导出

将LoRA权重合并到基础模型 · 导出为完整模型 · 转换格式（FP16/INT8）

LoRA权重合并

常见问题与解决方案

显存不足 · 训练不收敛 · 生成质量差

常见问题解决方案

LoRA与其他PEFT方法结合

LoRA与Prefix-Tuning · Adapter结合 · 多任务微调策略

模型安全与伦理

微调中的偏见 · 有害内容 · 安全对齐

模型安全伦理

性能优化与加速

FlashAttention · xFormers · 算子融合

性能优化加速

从零构建一个LoRA微调流水线——数… · 训练 · 评估

实战项目LoRA

LoRA在RAG · Agent · 工具调用中的应用

综合提升LoRA

课程总结与进阶方向

学习资源推荐 · 社区与开源项目 · 未来研究方向（动态LoRA

课程总结进阶方向