Raspberry Pi 概述:型号选择与硬件准备

老话说得好——工欲善其事,必先利其器。想在树莓派上跑 llama.cpp,先把板子选对,硬件备齐。我最早用树莓派 3B+ 试过,那个性能……嗯,后面再细说。

这一节我们聚焦三个问题:选哪款树莓派?需要哪些配件?怎么避开常见坑?理解清楚了,后面部署才不会卡在半路。

核心思路

  • 推理需要 CPU 算力和内存,树莓派上 RAM 是短板
  • llama.cpp 支持 ARM NEON 优化,树莓派 4B/5 都有优势
  • 散热和电源不稳定是实践中的头号杀手

1. 型号选择:跑大模型到底该买哪款?

我习惯把树莓派当前主流型号分成四档。直接看表,心里就有数:

型号 CPU RAM NEON 支持 能不能跑 llama.cpp 我的评级
树莓派 3B+ BCM2837B0 4核 1.4GHz 1GB LPDDR2 有(ARMv8) 能跑,但极慢(0.5 token/s) 不推荐
树莓派 4B BCM2711 4核 1.8GHz 2/4/8GB LPDDR4 有(ARMv8.2) 8GB版可跑 3B 模型,约 2-3 token/s 可用,但勉强
树莓派 5 BCM2712 4核 2.4GHz 4/8GB LPDDR4X 有(ARMv8.2,更强调度) 8GB版可流畅跑 3B-7B 模型,5-8 token/s **强推**
树莓派 Zero 2W BCM2837 4核 1.0GHz 512MB LPDDR2 有(ARMv8) 只能跑极小模型(0.5B)做实验 玩具级

为什么强推树莓派 5?内存带宽。跑大模型时,CPU 把权重从内存搬到寄存器,瓶颈往往在 LPDDR4X 的速率上。树莓派 5 的内存带宽(约 8GB/s)比 4B(约 3.2GB/s)高了一倍多。我实际测过,同样量化的 Q4_K_M 模型,5 比 4 快了接近 2.5 倍。

选型口诀:

  • 预算够 → 树莓派 5,8GB 版本
  • 手上有树莓派 4B 8GB → 先用着,体验还可以
  • 千万不要买 3B+ 或 Zero 2W 来跑推理,你会怀疑人生

2. 硬件清单:别漏了这些关键配件

板子选好了,配件也不能凑合。我曾经吃过亏——用了个旧手机充电器给树莓派 4B 供电,结果跑 llama.cpp 时频繁重启。后来一测,电压掉到 4.6V 了。血的教训。

以下是推荐的标配清单:

  • SD 卡:必须 A2 等级、U3 速度。容量建议 32GB 起步。我习惯用 64GB,装系统加几个模型文件刚好。
  • 电源:树莓派 5 官方 27W(5V/5A)USB-C 适配器。树莓派 4B 至少 3A 输出。
  • 散热:强烈建议主动散热。树莓派 5 原装风扇散热器套装效果不错。不带散热跑推理,CPU 温度飙到 85°C 会降频,速度反而更慢。
  • TF 读卡器:USB 3.0 的,烧录系统快很多。
  • Micro HDMI 线 + 显示器:前期配置需要,后面部署好可以只用 SSH。
  • USB 键盘鼠标:或直接用 SSH 跳过,但第一次设 Wi-Fi 最好用画面。

避坑指南

  • 不要用 Class 10 的旧 SD 卡,跑大模型时 IO 会成为瓶颈。
  • 电源线尽量用 带 E-mark 芯片 的 USB-C 线(树莓派 5 对 PD 协议要求严格)。
  • 如果使用树莓派 4B,记得检查散热片是否贴紧 CPU。我遇到过散热片虚贴,跑半小时后温度 80°C+ 开始限频。

3. 系统准备:选哪个操作系统?

当然官方 Raspberry Pi OS(64-bit) 是最稳妥的选择。我建议用 Lite 版本,没有桌面环境,省出来的内存全部给模型推理。

安装步骤很简单:

  1. 官网下载 Raspberry Pi Imager
  2. 选择设备型号和 SD 卡
  3. 选择 OS → Raspberry Pi OS (64-bit) Lite
  4. 写入前点击设置齿轮,提前设好 SSH、Wi-Fi 和用户名密码
  5. 烧录完插卡,上电,用 SSH 连进去
# 先升级系统和内核
sudo apt update && sudo apt full-upgrade -y
# 检查 CPU 和内存
lscpu | grep 'Model name'
free -h
# 32bit 内核?赶紧换成 64 位
uname -m
# 如果输出 aarch64,说明没问题
# 如果是 armv7l,那就得重装 64 位系统了

这里有个细节:llama.cpp 是纯 CPU 推理,但它会用 ARM NEON 指令集加速矩阵乘法。64 位系统才能完全发挥 NEON 性能。我见过有人抱着 32 位系统跑,速度只有正常的 30%。

4. 我们到底要干什么?一张图看懂

下面这张 SVG 图展示了整个流程的骨架——从选定硬件到最终在命令行用 llama-cli 跟模型对话。看完你就知道当前这一步在整个课程中的位置。

Raspberry Pi 部署 llama.cpp 流程框架 部署流程框架 硬件选型与准备 系统烧录与配置 编译 llama.cpp 模型下载与量化 推理 & 性能调优 API / 终端交互 本章聚焦:硬件选型 + 系统基础准备 后续章节将依次覆盖编译、模型量化和推理。 选对硬件,后面的路才顺。

5. 小结与建议

这一节的内容其实很“基建”——板子选错了,后面的努力可能白费。我个人习惯是先确定目标模型大小:

  • 想跑 7B 模型量化版(q4_0 约 4GB 内存占用) → 必须树莓派 5 8GB
  • 跑 3B 模型(约 1.5GB 内存占用) → 树莓派 4B 8GB 或 5 4GB 都可以
  • 1B 以下小模型 → 树莓派 4B 4GB 也没问题,但别期望实时对话

怎么快速知道自己板子的型号和内存?

cat /proc/cpuinfo | grep 'Revision'
# 根据 revision 查表,不过更简单的方法:
gpio -v  # 如果安装了 WiringPi,直接显示版本信息
free -h  # 直接看可用内存