所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

TGI大模型文本生成与推理流水线

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程适用人群 · TGI在LLM推理中的定位与价值
课程导入学习目标
02
大模型文本生成基础
自回归生成原理 · 与tokenization · 温度与top-p采样
大模型文本生成基…自回归生成原理
03
推理流水线概述
从输入prompt到输出文本的完整流… · 预处理 · 模型前向
推理流水线概述prompt
04
TGI框架介绍
Hugging Face TGI的起… · 核心特性 · 与其他推理框架（vLLM
TGI框架介绍
05
环境搭建与部署
Docker部署 · 本地源码安装 · 依赖管理
环境搭建部署
06
模型加载与配置
加载Hugging Face模型 · 模型并行（张量并行 · 流水线并行）
模型加载配置
07
文本生成参数详解
max_new_tokens · temperature · top_k
文本生成参数详解max
08
批处理与并发
动态批处理（continuous b… · 请求队列 · 并发控制
批处理并发
09
流式输出（Streaming）
SSE协议 · 流式传输 · 客户端实现
Streaming流式输出
10
推理优化技术
KV Cache · PagedAttention · FlashAttention
推理优化技术KV
11
量化与精度控制
量化原理 · TGI支持的量化方案 · 量化对生成质量的影响
量化精度控制
12
服务化API设计
RESTful API · gRPC接口 · 兼容接口
API服务化
13
性能监控与调优
延迟 · 吞吐量 · GPU利用率
性能监控调优
14
多模型管理与热加载
多模型部署 · 模型切换 · 版本管理
多模型管理热加载
15
安全与权限控制
API认证 · 请求限流 · 输入过滤
安全权限控制
16
常见问题排查
OOM错误 · CUDA错误 · 模型加载失败
常见问题排查OOM
17
实战案例一
基于TGI部署/LLaMA…
实战案例一TGI
18
实战案例二
构建一个支持流式输出的聊天机器人后端
实战案例二构建一个支持流式…
19
实战案例三
使用TGI实现批量文本生成任务（如摘… · 翻译）
实战案例三TGI
20
实战案例四
结合LangChain或LlamaI…
实战案例四LangChain
21
实战案例五
针对长文本生成场景优化TGI配置（如… · KV cache优化）
实战案例五TGI
22
实战案例六
多GPU环境下使用张量并行部署大型模…
实战案例六GPU
23
实战案例七
量化部署实践
实战案例七量化部署实践
24
实战案例八
自定义生成参数实现可控文本生成（如风… · 关键词约束）
实战案例八自定义生成参数实…
25
TGI与生态集成
与Hugging Face Hub · Transformers · PEFT
TGI生态集成
26
高级主题
投机解码（Speculative D… · 并行采样 · 分布式推理
高级主题Speculative
27
性能对比实验
TGI vs vLLM vs 原生T… · 设计基准测试并分析结果
性能对比实验TGI
28
生产环境最佳实践
高可用部署 · 负载均衡 · 自动扩缩容
生产环境最佳实践高可用部署
29
综合项目
从零搭建一个面向业务的大模型文本生成… · 包含前端 · 后端
综合项目从零搭建一个面向…
30
课程总结与进阶方向
回顾核心知识点 · 常见误区 · 未来发展趋势（如多模态
课程总结进阶方向