4、模型选型策略：针对垂直场景的模型架构选择（CNN、Transformer、图神经网络等）与预训练模型评估
垂直行业AI模型定制训练的第一步，往往不是收集数据，也不是调参，而是回答一个根本性问题：该用哪种模型架构作为底座？架构决定了模型的能力上限、数据需求、推理成本与可解释性边界。选错架构，后续的微调、蒸馏、量化都可能事倍功半。本章围绕CNN、Transformer、图神经网络（GNN）三大主流架构，结合预训练模型评估方法，给出面向垂直场景的系统化选型框架。
4.1 三大架构的核心原理与适用边界
核心原理：CNN（卷积神经网络）通过局部感受野和权值共享提取空间特征，擅长处理具有平移不变性的规则网格数据（图像、视频帧、一维信号）。Transformer基于自注意力机制建模全局依赖，通过位置编码保留序列信息，在长距离依赖和跨模态对齐上具有天然优势。图神经网络（GNN）通过消息传递机制在节点间聚合邻居信息，适用于非欧几里得空间的数据结构（社交网络、分子结构、知识图谱、供应链网络）。
判断方法：选型时先回答三个问题：数据是否具有规则的空间或时间网格结构？任务是否需要捕捉全局上下文或长程依赖？数据中是否存在显式的实体关系或拓扑结构？
| 维度 | CNN | Transformer | GNN |
|---|---|---|---|
| 数据假设 | 局部性、平移不变性 | 全局依赖、位置编码 | 节点+边、非欧结构 |
| 典型场景 | 工业质检、医学影像、遥感 | 文本分类、多模态检索、时序预测 | 分子性质预测、风控反欺诈、推荐系统 |
| 数据需求 | 中等（万级可训练） | 高（预训练+微调） | 中低（依赖图质量） |
| 推理时延 | 低（适合边缘部署） | 高（注意力计算开销） | 中（邻居采样开销） |
| 可解释性 | 中（热力图/梯度） | 低（注意力权重≠解释） | 高（边权重可分析） |
4.2 预训练模型评估的五维检查法
核心原理：预训练模型的选择直接影响微调效果的上限。评估不能只看榜单精度，需要从领域覆盖度、数据分布对齐、微调成本、推理性能、许可证合规五个维度综合打分。
操作流程：
- 领域覆盖度检查：预训练数据是否包含目标场景的相似数据？例如医学影像模型需确认预训练集是否包含CT/病理切片，而非仅自然图像。
- 数据分布对齐测试：用目标场景的100-500条样本做零样本推理或特征提取，观察特征分布是否与预训练分布重叠。
- 微调成本估算：计算全量微调所需的显存、训练时间和数据量；若资源有限，优先选择支持LoRA/Adapter的模型。
- 推理性能基准：在目标硬件上实测延迟和吞吐量，尤其关注Transformer的序列长度对显存的影响。
- 许可证与合规审查：确认预训练模型的开源协议（如Apache 2.0、CC-BY-NC），避免商用风险。
背景与约束：项目需对变电站变压器运行声音进行实时异常检测，边缘设备为Jetson Orin NX（8GB显存），要求单条音频（3秒）推理时延<200ms。初始数据仅2000条正常样本和150条故障样本。
初始现象：团队直接选用AudioMAE（基于Transformer的音频预训练模型）进行微调，发现两个问题：① 8GB显存下batch size只能设为4，训练极不稳定；② 推理时延达450ms，远超要求。
分析判断：AudioMAE的预训练数据以通用音频事件为主，与电力设备声纹分布差异大；且Transformer的全局注意力对3秒音频计算开销过高。改用CNN架构的PANNs（预训练音频神经网络）后，其局部感受野更适合短时频谱特征。
实际操作：① 将音频转为Log-Mel频谱图（128×128）；② 使用PANNs的CNN14模型，冻结前6层卷积，微调后2层和分类头；③ 采用知识蒸馏将模型从14层压缩至8层。
结果对比：微调后F1从0.82提升至0.91，推理时延降至120ms，显存占用降至3.2GB。
风险与代价：CNN模型对低频噪声鲁棒性略差，需额外增加数据增强（随机噪声叠加）。
复盘经验：预训练模型评估不能只看精度指标，必须结合部署约束和领域分布差异综合判断。
4.3 混合架构与场景化适配策略
核心原理：垂直场景往往不是单一模态或单一结构，混合架构通过组合不同模块的归纳偏置来提升整体性能。常见组合包括：CNN+Transformer（视觉特征提取+全局关系建模）、GNN+Transformer（图结构编码+序列预测）、双塔结构（多模态对齐）。
判断方法：当任务同时具备局部特征和全局依赖时（如病理切片分析：局部细胞形态+全局组织分布），或需要融合多源异构数据时（如设备故障诊断：振动信号+温度序列+维修记录图），优先考虑混合架构。
| 混合模式 | 适用场景 | 典型实现 | 注意事项 |
|---|---|---|---|
| CNN→Transformer | 图像+文本描述 | ViLT、CLIP | 对齐模块训练难度高 |
| GNN→Transformer | 分子性质+序列反应 | MolTran | 图编码与序列编码需统一维度 |
| CNN+GNN | 点云分割+关系推理 | DGCNN | 邻居采样影响训练速度 |
| 多分支融合 | 多传感器融合 | Late Fusion / Cross-Attention | 需设计融合权重策略 |
4.4 选型决策的量化评估矩阵
核心原理：将选型从“经验驱动”转为“数据驱动”，通过量化评分矩阵对比候选方案。评分维度包括：任务适配度（0-30分）、数据效率（0-20分）、部署成本（0-20分）、可解释性（0-15分）、生态成熟度（0-15分）。
操作流程：
- 列出3-5个候选架构（含预训练模型变体）；
- 对每个维度设定权重（根据项目优先级调整）；
- 用1-5分制打分，乘以权重后求和；
- 对得分前2的方案进行小规模实验验证（用5%数据训练，对比loss收敛曲线）。
背景与约束：需预测5000个SKU在未来4周的销量，数据包含历史销量序列、促销日历、天气、门店地理位置（图结构）。业务要求预测精度MAPE<25%，模型需每日更新。
初始现象：团队先尝试纯Transformer时序模型（Informer），MAPE达31%，且训练时间过长（单次4小时）。
分析判断：销量序列存在强周期性（局部特征），但SKU间存在替代/互补关系（图结构），单一架构无法同时建模。采用GNN+Transformer混合架构：GNN建模SKU关系图，Transformer建模时间序列。
实际操作：① 构建SKU关系图（基于历史销量相关性，阈值0.7）；② GNN模块（2层GraphSAGE）输出节点嵌入；③ 将嵌入与时间特征拼接输入Transformer编码器；④ 使用分位数损失函数。
结果对比：MAPE降至22.7%，训练时间降至1.5小时（通过邻居采样优化）。
风险与代价：图构建依赖历史数据，新品SKU无历史关系，需设计冷启动策略（用品类相似度替代）。
复盘经验：混合架构的价值在于“各司其职”，但需明确模块间的信息流接口，避免梯度冲突。
4.5 常见误区与选型复盘清单
常见误区：
- 误区一：“Transformer万能论”——忽视小样本场景下CNN的归纳偏置优势；
- 误区二：只看预训练模型精度，不检查预训练数据与目标域的分布差异；
- 误区三：忽略推理硬件约束，选型时未考虑量化/剪枝后的精度损失；
- 误区四：混合架构设计时未明确模块边界，导致梯度耦合、训练不稳定；
- 误区五：未做基线对比，直接上复杂模型，无法判断增益来源。
选型复盘清单：
- 是否用简单模型（逻辑回归/浅层MLP）做过基线？
- 预训练模型的预训练数据是否包含目标场景的相似样本？
- 在目标硬件上实测过推理时延和显存占用吗？
- 小样本实验（5%数据）是否验证了模型收敛性？
- 混合架构的模块间信息流是否清晰？是否有消融实验证明每个模块的必要性？
- 许可证是否允许商用？是否需要模型蒸馏或量化以满足部署要求？