第4章：模型卡片训练信息
好，咱们进入模型卡片的核心环节——训练信息。这部分说白了，就是告诉别人你的模型是怎么「养」出来的。我见过太多模型卡片，训练信息写得跟流水账似的，结果别人想复现都无从下手。今天咱们就把这块掰开揉碎了讲清楚。
4.1 训练框架：选对工具，事半功倍
训练框架的选择，直接影响你的开发效率和模型性能。我个人习惯用PyTorch，生态好，社区活跃。但TensorFlow在工业部署上也有它的优势。
写模型卡片时，框架信息要写清楚：
- 框架名称与版本：比如 PyTorch 2.0.1
- 关键依赖库：transformers、accelerate、deepspeed 等
- 分布式策略：用了 DDP 还是 FSDP？
示例：
训练框架：PyTorch 2.0.1 + DeepSpeed ZeRO Stage 2
依赖库：transformers 4.30.0, accelerate 0.21.0
分布式策略：4节点 × 8卡 DDP嗯，这里要注意。框架版本号一定要精确到小版本。我曾经遇到过，PyTorch 1.12 和 1.13 的 AMP 行为有差异，导致模型精度对不上。你想想看，这种坑踩一次就够了。
4.2 训练数据：模型的「食物」
训练数据这部分，我建议写得越详细越好。为什么？因为数据质量直接决定模型上限。
需要包含的信息：
- 数据来源：公开数据集还是自采数据？
- 数据规模：总样本数、训练/验证/测试集划分
- 预处理流程：清洗、标注、增强等操作
- 数据分布：类别分布、长度分布等统计信息
| 数据属性 | 说明 | 示例值 |
|---|---|---|
| 总样本数 | 训练集总样本量 | 1,200,000 |
| 训练/验证/测试 | 划分比例 | 8:1:1 |
| 平均序列长度 | token 数 | 512 |
| 类别数 | 分类任务 | 10 |
小技巧： 数据预处理脚本最好也开源。我在项目中就吃过亏，别人用我的数据但预处理方式不同，结果模型效果差了一大截。
4.3 超参数配置：模型的「调味料」
超参数这东西，说白了就是炼丹的火候。火候不对，再好的材料也白搭。
核心超参数清单：
- 学习率：初始值、调度策略（cosine、linear等）
- 批次大小：per_device_batch_size 和 gradient_accumulation_steps
- 优化器：AdamW、SGD 等，以及 betas、weight_decay
- 训练轮数：epochs 或 total_steps
- 预热步数：warmup_steps 或 warmup_ratio
完整配置示例：
learning_rate: 5e-5
lr_scheduler: cosine
warmup_ratio: 0.1
per_device_train_batch_size: 16
gradient_accumulation_steps: 4
optimizer: AdamW
adam_beta1: 0.9
adam_beta2: 0.999
weight_decay: 0.01
num_train_epochs: 3我个人习惯把超参数搜索过程也记录下来。比如试过哪些学习率，哪个效果最好。这样别人拿到你的模型，就知道「哦，原来作者试过这些，最终选了那个」。
4.4 训练环境：硬件决定速度
训练环境这块，很多人觉得不重要。其实不然。不同的硬件配置，训练出来的模型可能会有细微差异——尤其是混合精度训练时。
需要记录的内容：
- GPU 型号与数量：A100 80G × 8 还是 V100 32G × 4？
- CPU 与内存：Intel Xeon 还是 AMD EPYC？内存多大？
- CUDA 版本：11.7 还是 12.1？
- 存储系统：本地 SSD 还是 NFS？
避坑指南： 我曾经因为 CUDA 版本不同，导致同一个模型在 A100 和 V100 上的推理结果不一致。后来发现是 cuDNN 的卷积算法差异。所以环境信息一定要写全。
4.5 训练耗时：预算与效率的平衡
训练耗时这部分，说白了就是告诉别人「你要花多少钱才能复现这个模型」。
记录要点：
- 总训练时间：比如 72 小时
- 单步耗时：比如 0.8 秒/步
- 收敛步数：模型在多少步后达到最佳效果
- 资源利用率：GPU 利用率、显存占用等
| 指标 | 数值 | 备注 |
|---|---|---|
| 总训练时间 | 72 小时 | 4节点 × 8卡 A100 |
| 单步耗时 | 0.8 秒 | batch_size=64 |
| 收敛步数 | 50,000 步 | 验证集 loss 不再下降 |
| GPU 利用率 | 92% | 平均利用率 |
实用建议： 训练耗时最好按「卡时」来算。比如 8 卡训练 72 小时，就是 576 卡时。这样别人可以根据自己的硬件估算成本。
4.6 完整训练信息示例
好了，咱们把上面这些信息整合一下，看看一个完整的训练信息长什么样：
## 训练信息
### 框架
- PyTorch 2.0.1 + DeepSpeed ZeRO Stage 2
- transformers 4.30.0, accelerate 0.21.0
### 数据
- 来源：公开数据集 + 自采 20 万条
- 规模：120 万样本，8:1:1 划分
- 预处理：分词、去重、长度过滤（≤512）
### 超参数
- lr: 5e-5, cosine 调度, warmup 10%
- batch_size: 64 (per_device=16, grad_acc=4)
- optimizer: AdamW (β1=0.9, β2=0.999, wd=0.01)
- epochs: 3
### 环境
- 硬件：4 × 8 A100 80G, Intel Xeon Platinum
- 软件：CUDA 11.7, cuDNN 8.5
### 耗时
- 总时间：72 小时（576 卡时）
- 单步：0.8 秒
- 收敛：50,000 步嗯，写到这个程度，基本上别人拿到你的模型卡片，就能完整复现了。你想想看，如果每个模型卡片都这么写，那 AI 领域的可复现性得提升多少？
最后说一句，训练信息不是填空题。每个字段背后都有你的思考和取舍。把这些思考写出来，才是真正有价值的模型卡片。