📚 课程目录第1章本地环境搭建与模型下载

1. 本地环境搭建与模型下载

任务目标

在本地机器上完成大模型运行所需的基础环境配置：创建Python虚拟环境、安装PyTorch与Transformers库，并下载一个开源大模型（以Qwen2.5-0.5B-Instruct为例，因其体积小、下载快，适合作为首个本地模型）的权重文件，最终通过加载模型验证环境可用。

环境与依赖

操作系统：Windows 10/11 / Ubuntu 20.04+ / macOS 12+
Python版本：3.10～3.12（推荐3.11）
磁盘空间：模型约1GB，另预留2GB以上缓存空间
网络：可访问Hugging Face（若无法访问，可设置HF_ENDPOINT=https://hf-mirror.com使用国内镜像）

完整实现

以下脚本将依次完成：创建虚拟环境、安装依赖、下载模型权重并加载验证。将脚本保存为setup_and_verify.py，在终端中执行。

# setup_and_verify.py
import subprocess
import sys
import os

# 1. 创建并激活虚拟环境（若已存在则跳过）
venv_dir = "llm_env"
if not os.path.exists(venv_dir):
    subprocess.check_call([sys.executable, "-m", "venv", venv_dir])
    print(f"[OK] 虚拟环境已创建: {venv_dir}")

# 在Windows与Linux/macOS上使用不同的python路径
if os.name == "nt":
    py_path = os.path.join(venv_dir, "Scripts", "python.exe")
else:
    py_path = os.path.join(venv_dir, "bin", "python")

# 2. 安装依赖（使用清华PyPI镜像加速）
subprocess.check_call([py_path, "-m", "pip", "install", "--upgrade", "pip", "-q"])
subprocess.check_call([
    py_path, "-m", "pip", "install", "-q",
    "torch", "transformers", "accelerate", "huggingface_hub",
    "-i", "https://pypi.tuna.tsinghua.edu.cn/simple"
])
print("[OK] PyTorch与Transformers安装完成")

# 3. 下载Qwen2.5-0.5B-Instruct模型权重
model_name = "Qwen/Qwen2.5-0.5B-Instruct"
cache_dir = "./model_cache"
os.makedirs(cache_dir, exist_ok=True)

from huggingface_hub import snapshot_download
snapshot_download(
    repo_id=model_name,
    cache_dir=cache_dir,
    allow_patterns=["*.json", "*.safetensors", "*.txt", "*.model"]
)
print(f"[OK] 模型权重已下载至: {cache_dir}")

# 4. 加载模型并验证（仅做推理测试，不训练）
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(model_name, cache_dir=cache_dir)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    cache_dir=cache_dir,
    torch_dtype="auto",
    device_map="auto"
)

# 构造简单输入验证生成能力
input_text = "请用一句话介绍你自己。"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=50)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("\n[验证输出]")
print(response)
print("\n[OK] 环境配置成功，模型加载与推理正常")

运行方式

# 在项目目录下执行
python setup_and_verify.py

验证方法与通过条件

安装阶段：终端依次输出[OK] 虚拟环境已创建、[OK] PyTorch与Transformers安装完成、[OK] 模型权重已下载，无报错即通过。
加载阶段：模型加载过程中无OOM（内存不足）或路径错误提示。
推理验证：程序最终打印一段以“请用一句话介绍你自己。”为输入生成的文本（内容可能为“我是Qwen...”等合理回复），且输出[OK] 环境配置成功，即表示环境、依赖、模型下载与推理链路全部打通。

常见问题

下载超时/失败：在脚本开头添加os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"使用镜像站。
CUDA不可用：若机器无NVIDIA GPU，PyTorch会自动使用CPU运行，推理速度较慢但功能正常；如需GPU支持，请先安装匹配的CUDA版PyTorch。
磁盘空间不足：模型下载约需1GB，请确保缓存目录所在磁盘有足够空间。