所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。

← 返回上一级

← 返回所属目录咨询 / 购买

开源大模型本地部署与训练实战

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 课程结构 · 开源大模型生态概览

课程导入学习目标

硬件选型（GPU/内存/存储） · 操作系统与驱动安装 · CUDA/cuDNN配置

环境准备GPU

开源大模型基础

Transformer架构 · 主流开源模型（Llama · Mistral

开源大模型基础Transformer

模型下载与转换

Hugging Face Hub使用 · 模型下载工具 · 模型格式（safetensors

模型下载转换

推理框架入门

llama.cpp · Ollama · vLLM

推理框架入门llama.cpp

本地推理实战

使用Ollama部署Qwen2.5并… · 使用llama.cpp部署Llama… · 性能测试与调优

本地推理实战Ollama

量化技术详解

量化原理（ · AWQ · GGUF）

量化技术详解

API服务化部署

使用FastAPI封装模型 · 兼容API实现 · 并发处理与请求队列

API服务化部署

使用Gradio或Streamlit… · 集成Open WebUI · 自定义UI功能

多模型管理与切换

模型仓库管理 · 多模型加载策略 · 动态切换与资源隔离

多模型管理切换

性能优化进阶

批处理 · 流式输出 · KV Cache优化

性能优化进阶批处理

分布式推理

多GPU推理 · 张量并行 · 流水线并行

分布式推理GPU

迁移学习与微调概念 · 全量微调与参数高效微调（PEFT）对… · LoRA与QLoRA原理

微调基础迁移学习

数据准备与处理

数据集格式（指令 · 对话 · 偏好）

数据准备处理

微调框架实战

使用Hugging Face PEF… · 使用Axolotl或LLaMA-Fa…

微调框架实战Hugging

bit量化加载模型 · QLoRA配置 · 训练参数设置

全量微调实战

全参数微调流程 · DeepSpeed配置 · ZeRO优化

全量微调实战全参数微调流程

训练监控与调试

TensorBoard使用 · 损失曲线分析 · 过拟合与欠拟合处理

训练监控调试

模型评估与测试

自动评估指标（BLEU · ROUGE · 困惑度）

模型评估测试

模型合并与导出

LoRA权重合并 · 模型导出为GGUF/ONNX · 部署前优化

模型合并导出

RAG系统实战

检索增强生成原理 · 向量数据库（Chroma · FAISS）集成

RAG系统实战

Agent与工具调用

Function Calling实现 · ReAct模式 · 本地模型作为Agent核心

Agent工具调用

多模态模型部署

LLaVA · Qwen-VL等视觉语言模型部署 · 图像输入处理

多模态模型部署LLaVA

安全与隐私

模型安全对齐 · 提示注入防护 · 敏感信息过滤

常见问题排查

显存不足 · OOM · 推理速度慢

常见问题排查显存不足

实战项目一

从零部署一个本地个人助理（含Web… · API · RAG）

实战项目一Web

实战项目二

基于QLoRA微调领域模型（如法律 · 医疗）并部署

实战项目二QLoRA

实战项目三

构建本地多模型路由系统 · 根据任务自动选择模型

实战项目三构建本地多模型路…

性能基准与成本分析

不同硬件配置下的性能对比 · 功耗与成本估算 · 云与本地方案权衡

性能基准成本分析

课程总结与进阶路径

知识体系回顾 · 常见误区 · 社区资源

课程总结进阶路径