Raspberry Pi 概述:型号选择与硬件准备
老话说得好——工欲善其事,必先利其器。想在树莓派上跑 llama.cpp,先把板子选对,硬件备齐。我最早用树莓派 3B+ 试过,那个性能……嗯,后面再细说。
这一节我们聚焦三个问题:选哪款树莓派?需要哪些配件?怎么避开常见坑?理解清楚了,后面部署才不会卡在半路。
核心思路
- 推理需要 CPU 算力和内存,树莓派上 RAM 是短板
- llama.cpp 支持 ARM NEON 优化,树莓派 4B/5 都有优势
- 散热和电源不稳定是实践中的头号杀手
1. 型号选择:跑大模型到底该买哪款?
我习惯把树莓派当前主流型号分成四档。直接看表,心里就有数:
| 型号 | CPU | RAM | NEON 支持 | 能不能跑 llama.cpp | 我的评级 |
|---|---|---|---|---|---|
| 树莓派 3B+ | BCM2837B0 4核 1.4GHz | 1GB LPDDR2 | 有(ARMv8) | 能跑,但极慢(0.5 token/s) | 不推荐 |
| 树莓派 4B | BCM2711 4核 1.8GHz | 2/4/8GB LPDDR4 | 有(ARMv8.2) | 8GB版可跑 3B 模型,约 2-3 token/s | 可用,但勉强 |
| 树莓派 5 | BCM2712 4核 2.4GHz | 4/8GB LPDDR4X | 有(ARMv8.2,更强调度) | 8GB版可流畅跑 3B-7B 模型,5-8 token/s | **强推** |
| 树莓派 Zero 2W | BCM2837 4核 1.0GHz | 512MB LPDDR2 | 有(ARMv8) | 只能跑极小模型(0.5B)做实验 | 玩具级 |
为什么强推树莓派 5?内存带宽。跑大模型时,CPU 把权重从内存搬到寄存器,瓶颈往往在 LPDDR4X 的速率上。树莓派 5 的内存带宽(约 8GB/s)比 4B(约 3.2GB/s)高了一倍多。我实际测过,同样量化的 Q4_K_M 模型,5 比 4 快了接近 2.5 倍。
选型口诀:
- 预算够 → 树莓派 5,8GB 版本
- 手上有树莓派 4B 8GB → 先用着,体验还可以
- 千万不要买 3B+ 或 Zero 2W 来跑推理,你会怀疑人生
2. 硬件清单:别漏了这些关键配件
板子选好了,配件也不能凑合。我曾经吃过亏——用了个旧手机充电器给树莓派 4B 供电,结果跑 llama.cpp 时频繁重启。后来一测,电压掉到 4.6V 了。血的教训。
以下是推荐的标配清单:
- SD 卡:必须 A2 等级、U3 速度。容量建议 32GB 起步。我习惯用 64GB,装系统加几个模型文件刚好。
- 电源:树莓派 5 官方 27W(5V/5A)USB-C 适配器。树莓派 4B 至少 3A 输出。
- 散热:强烈建议主动散热。树莓派 5 原装风扇散热器套装效果不错。不带散热跑推理,CPU 温度飙到 85°C 会降频,速度反而更慢。
- TF 读卡器:USB 3.0 的,烧录系统快很多。
- Micro HDMI 线 + 显示器:前期配置需要,后面部署好可以只用 SSH。
- USB 键盘鼠标:或直接用 SSH 跳过,但第一次设 Wi-Fi 最好用画面。
避坑指南
- 不要用 Class 10 的旧 SD 卡,跑大模型时 IO 会成为瓶颈。
- 电源线尽量用 带 E-mark 芯片 的 USB-C 线(树莓派 5 对 PD 协议要求严格)。
- 如果使用树莓派 4B,记得检查散热片是否贴紧 CPU。我遇到过散热片虚贴,跑半小时后温度 80°C+ 开始限频。
3. 系统准备:选哪个操作系统?
当然官方 Raspberry Pi OS(64-bit) 是最稳妥的选择。我建议用 Lite 版本,没有桌面环境,省出来的内存全部给模型推理。
安装步骤很简单:
- 官网下载 Raspberry Pi Imager
- 选择设备型号和 SD 卡
- 选择 OS → Raspberry Pi OS (64-bit) Lite
- 写入前点击设置齿轮,提前设好 SSH、Wi-Fi 和用户名密码
- 烧录完插卡,上电,用 SSH 连进去
# 先升级系统和内核
sudo apt update && sudo apt full-upgrade -y
# 检查 CPU 和内存
lscpu | grep 'Model name'
free -h
# 32bit 内核?赶紧换成 64 位
uname -m
# 如果输出 aarch64,说明没问题
# 如果是 armv7l,那就得重装 64 位系统了
这里有个细节:llama.cpp 是纯 CPU 推理,但它会用 ARM NEON 指令集加速矩阵乘法。64 位系统才能完全发挥 NEON 性能。我见过有人抱着 32 位系统跑,速度只有正常的 30%。
4. 我们到底要干什么?一张图看懂
下面这张 SVG 图展示了整个流程的骨架——从选定硬件到最终在命令行用 llama-cli 跟模型对话。看完你就知道当前这一步在整个课程中的位置。
5. 小结与建议
这一节的内容其实很“基建”——板子选错了,后面的努力可能白费。我个人习惯是先确定目标模型大小:
- 想跑 7B 模型量化版(q4_0 约 4GB 内存占用) → 必须树莓派 5 8GB
- 跑 3B 模型(约 1.5GB 内存占用) → 树莓派 4B 8GB 或 5 4GB 都可以
- 1B 以下小模型 → 树莓派 4B 4GB 也没问题,但别期望实时对话
怎么快速知道自己板子的型号和内存?
cat /proc/cpuinfo | grep 'Revision'
# 根据 revision 查表,不过更简单的方法:
gpio -v # 如果安装了 WiringPi,直接显示版本信息
free -h # 直接看可用内存