所属分类：AI大模型与智能应用 当前为单品课程，可返回上一级继续浏览同方向资料。
← 返回上一级
← 返回所属目录 咨询 / 购买

提示词工程师:提示词评估实战指南

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导入
提示词评估的定义 · 重要性 · 应用场景与学习路径总览
课程导入提示词评估的定义
02
提示词基础回顾
提示词的结构 · 类型（指令 · 上下文
提示词基础回顾提示词的结构
03
评估的核心概念
准确性 · 相关性 · 连贯性
评估的核心概念准确性
04
评估目标设定
如何根据任务类型（生成 · 分类 · 抽取
评估目标设定如何根据任务类型
05
评估方法概览
人工评估 · 自动评估 · 混合评估的优缺点与适用场景
评估方法概览人工评估
06
人工评估实战
设计评分量表 · 标注指南 · 多人一致性（如Cohen's Kap…
人工评估实战设计评分量表
07
自动评估指标
BLEU · ROUGE · METEOR
自动评估指标BLEU
08
基于LLM的评估
使用等大模型作为裁判（LL…
LLM基于
09
评估数据集构建
如何创建高质量测试集 · 覆盖边界案例 · 避免数据泄漏
评估数据集构建如何创建高质量测…
10
评估流程设计
从提示词生成 · 输出收集 · 评分到结果分析的完整工作流
评估流程设计从提示词生成
11
评估工具与平台
常用开源库（如 Eval… · Promptfoo）与商业平台的使用…
评估工具平台
12
提示词迭代优化
基于评估结果进行提示词修改 · A/B测试与版本管理
提示词迭代优化基于评估结果进行…
13
案例实战
文本摘要任务的提示词评估——指标选择 · 人工评估与自动评估对比
案例实战文本摘要任务的提…
14
案例实战
问答系统提示词评估——评估事实准确性 · 引用完整性与拒答合理性
案例实战问答系统提示词评…
15
案例实战
代码生成提示词评估——编译通过率 · 功能正确性 · 代码风格与安全性
案例实战代码生成提示词评…
16
案例实战
创意写作提示词评估——主观质量评分 · 风格一致性 · 创新性评估
案例实战创意写作提示词评…
17
案例实战
多轮对话提示词评估——上下文保持 · 连贯性 · 角色一致性
案例实战多轮对话提示词评…
18
案例实战
结构化数据抽取提示词评估——精确率 · 召回率 · F1与格式合规性
案例实战结构化数据抽取提…
19
评估中的常见陷阱
过拟合测试集 · 评分者偏见 · 指标与人类判断不一致等
评估常见陷阱
20
鲁棒性评估
对输入扰动 · 对抗样本 · 提示词变体的稳定性测试
鲁棒性评估对输入扰动
21
安全性评估
检测有害内容 · 越狱攻击 · 隐私泄露与偏见问题
安全性评估检测有害内容
22
成本与效率评估
评估过程中的消耗 · 时间开销与性价比优化
成本效率评估
23
评估结果可视化与报告
如何用图表 · 统计方法呈现评估结果并推动决策
评估结果可视化报告
24
评估驱动的开发（EDD）
将评估嵌入提示词开发循环 · 实现持续改进
EDD评估驱动的开发
25
自动化评估流水线
使用CI/CD集成评估脚本 · 实现回归测试与质量门禁
自动化评估流水线CI/CD
26
多模型对比评估
在同一任务上评估不同LLM的提示词表… · 选择最优模型
多模型对比评估LLM
27
提示词版本控制与评估历史
如何管理提示词迭代记录 · 追踪评估分数变化
提示词版本控制评估历史
28
综合实战项目
从零构建一个提示词评估系统 · 覆盖数据 · 指标
综合实战项目从零构建一个提示…
29
常见问题与解决方案
评估结果不稳定 · 指标失效 · 人工评估成本高等问题的应对策略
常见问题解决方案
30
课程总结与进阶路径
核心要点回顾 · 行业趋势 · 推荐资源与后续学习方向
课程总结进阶路径