1. M系列芯片架构概述：Apple Silicon的CPU、GPU、NPU统一架构，统一内存与带宽特性
我自己在拿到第一台M1 MacBook Pro时，第一反应是——这玩意儿到底跟Intel版有什么本质区别？
用了两周后我明白了：**统一内存架构**是真正的核弹。不是简单的“把内存焊在主板上”，而是CPU、GPU、NPU（神经引擎）共享同一块物理内存池。你想想看，传统PC上数据要从CPU内存拷贝到GPU显存，走PCIe总线，带宽卡在几十GB/s。M系列直接干到400-800 GB/s。
统一架构的核心部件
Apple Silicon不是把几个die拼在一起，而是用**晶圆级封装**把多个IP模块通过高速互联（Apple自家的Fabric总线）连成一个完整的片上系统。我个人习惯把它拆成四块来看：
- CPU集群：高性能核心（Firestorm/P-Core）+ 高能效核心（Icestorm/E-Core），共8-16核，动态调度。
- GPU集群：最多40个核心（M2 Ultra），无独立显存，直接从统一内存里划显存。
- NPU：16核神经引擎，专门跑神经网络推理，每秒能算38万亿次（M2 Max）。
- 内存控制器：直接集成在SoC内部，通过256-bit/512-bit内存通道连接到LPDDR5/5X颗粒。
避坑提醒：别把Mac的内存大小和PC的“内存+显存”简单相加。统一内存意味着你跑大模型时，模型权重占用的那块内存既是“内存”也是“显存”——你设置模型层数时，总内存消耗不能超过物理内存上限。我遇到过有人在16GB Mac上试图加载7B模型全精度，直接系统OOM卡死。
统一内存与带宽：为什么这对LLM这么重要？
跑本地大语言模型，最吃紧的就是**内存带宽**。一个7B参数模型，用FP16（半精度）存储，权重就占了14GB。每一次token生成，都要把所有权重从内存搬运到计算单元。如果带宽只有几十GB/s，生成速度就是慢吞吞的蜗牛。
M系列给的带宽是多少？看表：
| 芯片型号 | 内存带宽（理论峰值） | 典型最大统一内存 |
|---|---|---|
| M1 | ~68 GB/s | 16 GB |
| M1 Pro/Max | 200 - 400 GB/s | 64 GB |
| M2 | ~100 GB/s | 24 GB |
| M2 Pro/Max | 200 - 400 GB/s | 96 GB |
| M2 Ultra | 800 GB/s | 192 GB |
| M3 Max | ~400 GB/s | 128 GB |
说白了，M2 Ultra的800 GB/s已经超过了大多数消费级显卡的显存带宽（RTX 4090约1 TB/s）。配合192GB统一内存，你甚至可以塞下70B的量化模型（比如Q4_K_M约40GB）——这在PC上需要两张4090才够。
NPU的作用：别小看它
很多人以为NPU只用来做智能相册、面部识别。实际上Apple提供了一个名为ANE (Apple Neural Engine) 的编程接口。虽然llama.cpp本身没用NPU做推理，但社区有人尝试过将部分算子offload到ANE来加速。
我个人测试下来，ANE对纯矩阵乘法的吞吐非常可观（约16 TFLOPS FP16），但它的限制也很明显：必须运行在Apple CoreML框架下，且权重转换复杂。嗯，这里要注意——如果你用ops优化工具把llama.cpp的某些gemm kernel扔给ANE，精度对齐是个大坑，我踩过几次才明白。
关键概念速览（一张图）
为了帮你建立整体印象，我画了一张简图：
如何利用这些特性优化llama.cpp
当你把这段架构知识用到llama.cpp上时，有几点我建议你立刻记住：
- 模型量化是关键：既然内存是瓶颈，那么用更小的数据类型（Q4_K_M、Q5_K_M等）能让你塞进更大的模型。M2 Ultra 192GB内存跑Q8的70B模型？没问题。但M1的16GB只能跑Q4的7B模型。
- 别滥用GPU offload：llama.cpp默认将所有层挂载在CPU上运行。你可以用
-ngl N把部分层offload到GPU。但注意——M系列的GPU没有独立显存，offload并不会增加有效内存。它只是让GPU去算那些权重已经存在内存里的矩阵。效果因模型而异，我自己测试7B模型时offload一半到GPU，生成速度快了2倍，但13B模型收益就很小。 - 监控内存压力：使用
memory_pressure命令随时查看系统是否有swap。如果内存压力变黄甚至变红，说明模型太大，系统开始用SSD做交换——速度直接掉到500 MB/s以下。这时候必须减小-c上下文长度或换更低的量化。
实战小技巧：在M系列上跑llama.cpp，先用--memory-limit参数设置可用内存上限（比如--memory-limit 12000表示只允许用12GB）。这样即使模型稍微超了，系统也能提前报错而不是跑到最后OOM。我习惯在M1 MacBook Air（16GB）上跑Q4_K_M的7B模型时，设--memory-limit 12000，然后-c 2048，稳稳地每秒生成10 tokens。
再说一句关于带宽的魔鬼细节
M1的68 GB/s听起来没有M2 Ultra的800 GB/s那么唬人，但你想想——一个7B模型的权重是14GB（FP16），加载一次只需14GB/68GB/s ≈ 0.2秒。实际推理时，每个token生成要读取所有权重，所以最终瓶颈是带宽×计算效率。68 GB/s的M1跑7B Q4模型（约4.5GB），每秒带宽需求≈ 4.5GB / 每token时间。如果每token 100ms，带宽需求约45 GB/s——刚好卡在极限附近。所以M1跑7B Q4模型勉强流畅，跑13B就会慢得不能忍。
这就是为什么我强烈建议：**选M系列跑LLM，优先看内存带宽和容量，再看CPU核心数。**
⚠ 我曾踩过的坑：有次我在M1 Pro上试图用-t 8（8个线程）同时跑两个推理实例。结果因为内存带宽被两个进程争夺，每个实例的生成速度反而比单线程慢了一半。记住——统一内存的带宽是所有计算单元共享的，多进程同时跑推理不会加速，只会让彼此都变慢。
好，第一章就到这儿。有了这个架构基础，后面我们就要开始动手编译llama.cpp、配置Metal加速、调优线程数了。你会看到，懂架构和不读架构的人，调优效果差好几倍。