VIP20
本课程属于：004-llama cpp AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Mac M系列芯片llama cpp优化指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
M系列芯片架构概述
Apple Silicon的CPU · GPU · NPU统一架构
M系列芯片架构概…Apple
02
llama.cpp编译与基础配置
从源码编译Metal后端 · 配置LLAMA_METAL=ON
llama.cpp编译
03
Metal性能优化原理
GPU并行计算在Transforme… · Metal Shader优化要点
Metal性能优化原理
04
CPU vs GPU负载分配
如何通过--n-gpu-layers… · 找到最佳平衡点
CPUvs
05
上下文长度与内存
KV Cache的内存占用计算 · M系列芯片统一内存的限制
上下文长度内存
06
量化方法选择（上）
q4_0 · q4_1 · q5_0
量化方法选择q4
07
量化方法选择（下）
q8_0 · f16 · 以及针对M芯片的特定量化优化
量化方法选择q8
08
批处理与并行解码
--batch-size参数调优 · 多序列推理的吞吐量提升
批处理并行解码
09
Flash Attention适配
M系列芯片上利用Metal实现类似F…
FlashAttention
10
内存带宽敏感操作
MatMul · Softmax在M芯片上的瓶颈与优化…
内存带宽敏感操作MatMul
11
线程数调优
--threads参数的影响 · M芯片的能效核心与性能核心分配
线程数调优threads
12
Metal缓冲区管理
减少CPU-GPU数据拷贝 · 利用共享内存避免冗余传输
Metal缓冲区管理
13
模型加载与内存预分配
mmap映射与连续内存分配策略
模型加载内存预分配
14
KV Cache复用
跨请求共享Cache · 减少重复计算
KVCache
15
投机解码（Speculative Decoding）
在M芯片上的实现与收益分析
SpeculativeDecoding
16
低精度计算适配
利用Apple的ANE（神经网络引擎…
低精度计算适配Apple
17
性能监控与剖析
使用Instruments · Xcode Metal Debugg…
性能监控剖析
18
温度与降频控制
M芯片长期推理的散热策略 · 避免降频损失性能
温度降频控制
19
多模型并发推理
内存不足时的Swap与优先级调度
多模型并发推理Swap
20
Prompt处理优化
Prefill阶段的并行度调整 · 减少首Token延迟
Prompt处理优化
21
重复惩罚与采样器性能
Top-K · Top-P · Temperature的CPU/GP…
重复惩罚采样器性能
22
自定义算子开发
编写Metal Shader替换ll…
自定义算子开发Metal
23
模型压缩与剪枝
在M芯片上运行4bit甚至2bit量…
模型压缩剪枝
24
LoRA与适配器
加载LoRA权重时的内存优化技巧
LoRA适配器
25
长上下文（32K/128K）场景
位置编码（RoPE）与内存管理挑战
K/128K长上下文
26
多GPU（M1 Ultra/M2 Ultra）支持
如何利用多个GPU单元并行
GPUM1
27
容器化部署
Docker镜像中包含Metal支持 · 跨环境一致性
容器化部署Docker
28
与系统其他库的交互
Accelerate框架 · BNNS的对比与混合使用
系统其他库的交互Accelerate
29
典型应用案例
在MacBook Pro上运行本地代… · 翻译模型的最佳配置
典型应用案例MacBook
30
未来趋势与社区进展
MLX框架对比 · llama.cpp后续优化方向
未来趋势社区进展