VIP20
本课程属于：007-大模型部署 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

大模型部署日志与链路追踪调试技巧

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 大模型部署中日志与链路追踪的重要性
课程导入学习目标
02
大模型部署基础
常见部署架构（单机 · 分布式 · 微服务）
大模型部署基础常见部署架构
03
日志系统基础
日志级别（DEBUG/INFO/WA… · 结构化日志格式 · 日志采集与存储（ELK
日志系统基础DEBUG/INFO/W…
04
链路追踪基础
分布式追踪核心概念（Trace · Span · Context）
链路追踪基础Trace
05
大模型推理日志特点
Token 级日志 · 请求/响应日志 · 性能指标（TTFT
大模型推理日志特…Token
06
日志埋点实战
在推理服务中埋点（FastAPI · vLLM 回调） · 记录请求参数
日志埋点实战FastAPI
07
链路追踪集成
为推理服务集成 OpenTeleme… · 自动/手动埋点 · 跨服务传播上下文
链路追踪集成OpenTeleme
08
日志与追踪关联
通过 Trace ID 关联日志与追… · 日志上下文注入 · 统一查询入口
日志追踪关联
09
调试技巧之日志分析
常用日志分析命令（grep · jq） · 日志聚合查询
调试技巧之日志分…grep
10
调试技巧之追踪分析
使用 Jaeger/Zipkin 查… · 定位耗时瓶颈 · 分析错误 Span
调试技巧之追踪分…Jaeger/Zipki…
11
常见故障场景
模型加载慢 · GPU 显存不足 · 请求超时
常见故障场景模型加载慢
12
案例实战一
基于 vLLM 部署的日志与追踪配置…
案例实战一vLLM
13
案例实战二
微服务架构下（API网关+推理服务+…
案例实战二API
14
案例实战三
多模型部署场景下的日志隔离与追踪策略
案例实战三多模型部署场景下…
15
性能调优中的日志分析
通过日志计算 P99 延迟 · 吞吐量 · 错误率
性能调优日志分析
16
安全与隐私
日志脱敏（敏感词 · 用户数据） · 追踪数据权限控制
安全隐私
17
日志与追踪的存储优化
采样策略 · 日志轮转 · 索引优化
日志追踪的存储优化
18
告警与监控
基于日志和追踪指标设置告警（Prom… · 异常自动通知
告警监控
19
调试工具链
常用 CLI 工具（kubectl… · docker logs） · 可视化工具（Grafana
调试工具链CLI
20
分布式训练与推理的日志追踪差异
训练任务日志 · 推理服务日志 · 离线批处理日志
分布式训练推理的日志追踪差…
21
日志与追踪的标准化
日志 Schema 设计 · Span 命名规范 · 属性标签规范
日志追踪的标准化
22
异步与流式推理的追踪
流式输出（SSE）的 Span 管理 · 异步任务追踪
异步流式推理的追踪
23
多租户场景
租户级日志隔离 · 追踪上下文传递 · 资源配额监控
多租户场景租户级日志隔离
24
模型版本与实验追踪
结合 MLflow 记录模型版本 · 参数 · 日志关联
模型版本实验追踪
25
故障排查实战
从用户报障到定位根因的完整流程（日志…
故障排查实战从用户报障到定位…
26
日志与追踪的自动化测试
如何验证埋点正确性 · 追踪完整性 · 日志准确性
日志追踪的自动化测试
27
大规模部署下的日志与追踪架构
Kubernetes 环境下的采集（… · OTel Collector） · 服务网格（Istio）集成
大规模部署下的日…追踪架构
28
最佳实践总结
日志与追踪的黄金信号 · 常见陷阱 · 团队协作规范
最佳实践总结日志
29
综合项目
设计并实现一个完整的大模型服务日志与… · 架构设计 · 实现
综合项目设计并实现一个完…
30
课程总结与进阶方向
回顾核心技能 · 推荐学习资源 · 未来趋势（eBPF
课程总结进阶方向