所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。

← 返回上一级

← 返回所属目录咨询 / 购买

大模型微调实战:LoRA+QLoRA低资源训练指南

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 适用人群 · 课程整体框架与学习路径

课程导入学习目标

大模型基础与微调概述

预训练与微调的区别 · 全量微调的挑战 · 低资源微调的必要性

大模型基础微调概述

环境搭建与工具准备

Python环境 · PyTorch · Transformers

环境搭建工具准备

Hugging Face生态入门

数据集加载 · 模型加载 · Tokenizer使用

参数高效微调(PEFT)原理

Adapter · Prefix Tuning · Prompt Tuning

PEFT参数高效微调

LoRA核心机制详解

低秩分解 · 秩(r)与alpha参数 · 权重合并原理

LoRA核心机制详解

LoRA实战准备

选择基础模型 · 准备数据集 · 定义LoRA配置

LoRA实战准备

LoRA微调实战

文本分类任务：以情感分析为例 · 从数据预处理到训练评估全流程

LoRA微调实战

LoRA微调实战

指令跟随任务：构建指令数据集 · 训练对话/问答模型 · 效果调优

LoRA微调实战

LoRA微调实战

领域适应任务：以法律/医疗文本为例 · 展示领域知识注入

LoRA微调实战

QLoRA原理与优势

量化基础 · bit NormalFloat · 双量化

QLoRA配置与实现

bitsandbytes集成 · 加载4-bit模型 · QLoRA与LoRA的代码差异

单卡低显存微调

QLoRA单卡低显存微调

多卡并行与梯度累积：数据并行 · DeepSpeed/ZERO · batch size与显存权衡

QLoRA多卡并行

数据集处理与增强

数据清洗 · 格式转换 · 指令模板

数据集处理增强

训练超参数调优

学习率 · epoch · batch size

训练超参数调优学习率

过拟合与欠拟合诊断

训练/验证损失曲线分析 · 正则化技术 · 早停策略

过拟合欠拟合诊断

模型评估与基准测试

自动评估指标(准确率 · BLEU · ROUGE)

模型评估基准测试

模型推理与部署

合并LoRA权重 · 模型量化 · ONNX导出

模型推理部署

常见问题与解决方案

显存不足 · 训练崩溃 · loss不下降

常见问题解决方案

LoRA与QLoRA的进阶技巧

Rank自适应 · 多任务LoRA · LoRA融合

微调模型与检索增强生成(RAG)的协… · 提升知识密集型任务效果

微调模型作为工具调用/规划Agent · 实现复杂任务自动化

多模态模型微调

LLaVA等视觉-语言模型的LoRA…

多模态模型微调LLaVA

中文大模型微调实战

以ChatGLM · Qwen · Baichuan为例

文大模型微调实战ChatGLM

代码大模型微调实战

以CodeLlama · StarCoder为例 · 代码生成与补全任务微调

代码大模型微调实…CodeLlama

模型安全与伦理

微调中的偏见消除 · 有害内容抑制 · 安全对齐技术

模型安全伦理

性能优化与资源管理

梯度检查点 · 混合精度 · FlashAttention

性能优化资源管理

从零构建一个领域问答助手：数据收集 · 微调 · 评估

项目实战从零构建一个领域…

课程总结与进阶方向

知识回顾 · 常见误区 · 社区资源

课程总结进阶方向