VIP20
本课程属于：017-TensorRT-LLM 实战课程 AI与大模型 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

TensorRT-LLM安全部署与多租户方案实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 课程结构 · 环境准备与基础概念
课程导入学习目标
02
TensorRT-LLM概述
核心特性 · 架构 · 与原生TensorRT的关系
TensorRT-LLM核心特性
03
环境搭建
GPU驱动 · CUDA · cuDNN
环境搭建GPU
04
模型转换与优化
从PyTorch模型到TensorR…
模型转换优化
05
量化技术
FP16 · INT8 · INT4量化原理与在TensorRT…
量化技术FP16
06
推理服务基础
使用TensorRT-LLM构建简单…
推理服务基础TensorRT-LLM
07
安全威胁分析
LLM服务面临的常见安全威胁与攻击面
安全威胁分析LLM
08
网络安全基础
TLS/SSL · 防火墙 · 安全组配置
网络安全基础TLS/SSL
09
身份认证与授权
API密钥 · OAuth2.0 · RBAC在LLM服务中的应用
身份认证授权
10
输入验证与过滤
提示注入 · 恶意输入检测与防护
输入验证过滤
11
输出安全
内容过滤 · 敏感信息脱敏 · 合规性检查
输出安全内容过滤
12
模型安全
模型加密 · 防篡改 · 知识产权保护
模型安全模型加密
13
日志与监控
安全日志记录 · 实时监控与告警
日志监控
14
多租户概念
多租户架构 · 隔离级别 · 租户模型
多租户概念多租户架构
15
资源隔离
GPU资源划分 · 显存限制 · 计算配额
资源隔离GPU
16
数据隔离
租户数据存储 · 访问控制 · 加密
数据隔离租户数据存储
17
性能隔离
公平调度 · 优先级 · 速率限制
性能隔离公平调度
18
多租户推理服务设计
基于TensorRT-LLM的多租户…
多租户推理服务设…TensorRT-LLM
19
容器化部署
Docker与Kubernetes在…
容器化部署Docker
20
服务网格与API网关
Istio · Kong等实现安全与多租户管理
API服务网格
21
安全部署实战
使用Helm在K8s上部署Tenso…
安全部署实战Helm
22
多租户配置实战
配置租户隔离 · 配额与认证
多租户配置实战配置租户隔离
23
安全测试
渗透测试 · 漏洞扫描 · 安全评估
安全测试渗透测试
24
性能优化
吞吐量 · 延迟 · 并发优化与安全平衡
性能优化吞吐量
25
高可用与容灾
负载均衡 · 故障转移 · 备份恢复
高可用容灾
26
成本控制
多租户下的成本分摊与优化
成本控制多租户下的成本分…
27
合规与治理
GDPR · HIPAA等法规遵从与审计
合规治理
28
案例研究
金融 · 医疗 · 电商行业的安全多租户部署案例
案例研究金融
29
常见问题与解决方案
部署 · 安全 · 多租户中的典型问题
常见问题解决方案
30
综合实战项目
设计并实现一个安全的多租户Tenso…
综合实战项目Tenso