VIP5
本课程属于：153-大模型Benchmark与评测工程 AI智能与边缘计算工程 · 共 5 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

LLM文本生成质量评估实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
学习目标 · 核心概念 · 整体框架
课程导入学习目标
02
LLM文本生成基础
生成任务类型（摘要 · 对话 · 翻译
LLM文本生成基础
03
质量评估概述
评估的定义 · 评估维度（准确性 · 流畅性
质量评估概述评估的定义
04
人工评估方法
人工评估流程 · 评分量表设计 · 标注规范
人工评估方法人工评估流程
05
自动评估指标（一）
基于n-gram的指标（BLEU · ROUGE · METEOR）的原理
自动评估指标n-gram
06
自动评估指标（二）
基于嵌入的指标（BERTScore · MoverScore）的原理 · 实现与适用场景
自动评估指标BERTScore
07
自动评估指标（三）
基于语言模型的指标（Perplexi… · 困惑度 · 评估）及其应用
自动评估指标Perplexi
08
LLM-as-a-Judge
利用大模型进行质量评估的原理 · Prompt设计 · 评估偏差与缓解策略
LLM-as-a-Jud…利用大模型进行质…
09
评估数据集构建
数据采集 · 标注流程 · 数据增强
评估数据集构建数据采集
10
评估框架与工具
常用评估库（如 Eval… · LangChain评估 · RAGAS）的使用与对比
评估框架工具
11
评估Pipeline设计
从生成到评估的端到端流程 · 批处理与实时评估 · 日志与监控
Pipeline评估
12
任务特定评估（一）
摘要生成评估（事实一致性 · 信息覆盖 · 冗余度）与实战案例
任务特定评估摘要生成评估
13
任务特定评估（二）
对话生成评估（连贯性 · 参与度 · 安全性）与实战案例
任务特定评估对话生成评估
14
任务特定评估（三）
机器翻译评估（忠实度 · 流畅度 · 术语一致性）与实战案例
任务特定评估机器翻译评估
15
任务特定评估（四）
创意写作评估（风格 · 原创性 · 情感共鸣）与实战案例
任务特定评估创意写作评估
16
评估偏差与公平性
模型偏见 · 评估偏差 · 公平性指标与缓解方法
评估偏差公平性
17
评估结果分析与可视化
统计分析方法 · 错误分析 · 可视化工具（如TensorBoard
评估结果分析可视化
18
评估指标与人类判断的相关性
相关性计算方法（如Spearman · Kendall） · 指标校准与调优
评估指标人类判断的相关性
19
多维度综合评估
构建综合评分模型 · 加权策略 · 多指标融合与决策
多维度综合评估构建综合评分模型
20
评估自动化与持续集成
CI/CD中的评估集成 · 回归测试 · 模型版本对比
评估自动化持续集成
21
案例实战（一）
基于开源模型（如Llama · ChatGLM）的文本生成质量评估完…
案例实战Llama
22
案例实战（二）
基于API模型（如 · Claude）的评估项目 · 包括成本与延迟优化
案例实战API
23
案例实战（三）
RAG系统生成质量评估 · 包括检索质量与生成质量的联合评估
案例实战RAG
24
案例实战（四）
多语言场景下的质量评估 · 跨语言指标适配与挑战
案例实战多语言场景下的质…
25
常见问题与解决方案
评估结果不一致 · 指标失效 · 数据稀疏
常见问题解决方案
26
评估策略优化
如何根据业务需求选择评估方法 · 动态调整评估标准
评估策略优化如何根据业务需求…
27
前沿进展
最新评估方法（如SelfCheckG… · FactScore） · 研究趋势与未来方向
前沿进展SelfCheckG
28
综合实战项目
从需求分析 · 评估方案设计 · 实施到报告输出的完整项目演练
综合实战项目从需求分析
29
课程总结与知识体系梳理
核心要点回顾 · 学习路径建议 · 资源推荐
课程总结知识体系梳理
30
结业考核与进阶指导
综合测试 · 项目答辩 · 后续学习方向与职业发展建议
结业考核进阶指导