VIP8
本课程属于：007-llama.cpp与GGUF本地部署工程 AI智能与边缘计算工程 · 共 8 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

K-quant量化原理与参数调优指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
K-quant量化概述
定义 · 背景 · 与其它量化方法的对比
K-quant量化概述
02
量化基础
浮点数与定点数 · 量化误差 · 均匀量化与非均匀量化
量化基础浮点数
03
大模型量化的挑战
模型规模 · 激活值分布 · 离群值影响
大模型量化的挑战模型规模
04
K-quant核心思想
分组量化 · 动态缩放 · 码本设计
K-quant核心思想
05
量化参数
比特数 · 分组大小 · 对称与非对称量化
量化参数比特数
06
K-quant的数学原理
量化公式 · 反量化公式 · 量化噪声分析
K-quant的数学原理
07
参数调优概述
调优目标 · 关键指标（准确率 · 推理速度
参数调优概述调优目标
08
校准数据集的选择与构建
重要性 · 常见方案（少量样本 · 随机生成）
校准数据集的选择构建
09
量化感知训练（QAT）与训练后量化（PTQ）在K-quant中的应用。
量化感知训练（QAT）与训练后量化（PT… · 核心概念 · 实践要点
QATPTQ
10
分组大小对性能的影响
实验分析
分组大小对性能的…实验分析
11
比特数选择
bit vs 8-bit vs 混合…
比特数选择bit
12
对称/非对称量化的选择
对模型精度的影响
对称非对称量化的选择
13
动态缩放因子的计算
基于最大值 · 百分位数 · 优化求解
动态缩放因子的计…基于最大值
14
码本初始化方法
K-means · 分位数 · 均匀
码本初始化方法K-means
15
码本更新策略
固定码本 vs 可学习码本
码本更新策略vs
16
离群值处理
剪裁 · 重排 · 单独量化
离群值处理剪裁
17
混合精度量化
不同层/不同张量使用不同比特数
混合精度量化不同层
18
硬件适配
NVIDIA GPU · AMD GPU · NPU对K-quant的支持
硬件适配NVIDIA
19
推理框架集成
TensorRT · ONNX Runtime · llama.cpp中的K-quant…
推理框架集成TensorRT
20
性能评估指标
困惑度 · 下游任务准确率 · 推理延迟
性能评估指标困惑度
21
自动化调参工具
贝叶斯优化 · 网格搜索 · 遗传算法
自动化调参工具贝叶斯优化
22
常见问题与避坑
量化后模型崩溃 · 精度损失过大 · 内存碎片
常见问题避坑
23
案例研究1
LLaMA模型K-quant量化与调…
案例研究1LLaMA
24
案例研究2
ViT模型K-quant量化与调优
案例研究2ViT
25
案例研究3
Whisper模型K-quant量化…
案例研究3Whisper
26
大规模部署中的量化策略
可分片量化 · 动态切换
大规模部署量化策略
27
K-quant的最新研究进展
QAT与蒸馏结合 · 低比特极限探索
K-quant的最新研究进展
28
开源工具与库
bitsandbytes · AutoGPTQ · QuIP#等
开源工具bitsandbytes
29
实验复现指南
环境搭建 · 超参数配置 · 结果分析
实验复现指南环境搭建
30
总结与未来方向
K-quant的边界 · 与稀疏化结合 · 硬件协同设计
未来方向K-quant