VIP20
本课程属于：027-B端系统需求RICE优先级评分 产品经理与需求分析 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

A/B测试校准Confidence教程详解

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
置信度的基本定义
统计学意义 · 与p值的关系 · 常用阈值
置信度的基本定义统计学意义
02
假设检验的两类错误
I类错误（假阳性） · II类错误（假阴性） · 统计功效（Power）
假设检验的两类错…I类错误
03
置信区间与置信水平
区间估计原理 · 95%置信水平含义 · 与点估计对比
置信区间置信水平
04
Z检验与t检验
适用场景对比 · 前提条件 · 检验统计量公式
Z检验t检验
05
单尾检验与双尾检验
方向性假设 · 拒绝域划分 · 实际选择原则
单尾检验双尾检验
06
样本量对置信度的影响
大数定律 · 标准误缩小 · 效应量敏感性
样本量对置信度的…大数定律
07
效应量（Effect Size）的概念
Cohen's d · 差异大小 · 置信度的关键因素
EffectSize
08
多重比较问题
多次检验导致假阳性膨胀 · Bonferroni校正 · FDR控制
多重比较问题多次检验导致假阳…
09
p值的常见误解
p值不是效应概率 · 不是零假设为真的概率 · 不是重复实验的置信度
p值的常见误解p值不是效应概率
10
置信度校准的定义
为什么需要校准 · 校准曲线 · 预测概率与真实频率的对应
置信度校准的定义为什么需要校准
11
校准方法一
Platt缩放（逻辑回归校准）：原理 · 适用条件 · 计算步骤
校准方法一Platt
12
校准方法二
等温回归（Isotonic Regr… · 非参数方法 · 适用场景
校准方法二Isotonic
13
校准方法三
温度缩放（Temperature S… · 单一参数调整
校准方法三Temperature
14
校准评估指标
期望校准误差（ECE） · 最大校准误差（MCE） · 可靠性图
校准评估指标ECE
15
可靠性图的绘制
分箱策略 · 箱内准确率与置信度对比 · 图形解读
可靠性图的绘制分箱策略
16
A/B测试中置信度校准的重要性
避免错误决策 · 提升实验复现性
A/B测试
17
常见校准误区一
忽略先验概率 · 样本偏差导致校准偏移
常见校准误区一忽略先验概率
18
常见校准误区二
过度拟合校准集 · 欠拟合代表性
常见校准误区二过度拟合校准集
19
常见校准误区三
置信度与业务风险不匹配 · 阈值随意设定
常见校准误区三置信度
20
实验前校准准备
数据收集要求 · 验证集划分 · 基线模型
实验前校准准备数据收集要求
21
校准流程标准化
步骤1-数据准备 · 步骤2-校准模型训练 · 步骤3-验证集评估
校准流程标准化步骤1
22
校准流程标准化
步骤4-结果可视化 · 步骤5-阈值调整 · 步骤6-部署前验证
校准流程标准化步骤4
23
实战案例一
电商点击率A/B测试的置信度校准完整…
实战案例一A/B
24
实战案例二
广告转化率实验的置信度校准与决策优化
实战案例二广告转化率实验的…
25
实战案例三
推荐系统online实验的校准效果监…
实战案例三online
26
校准工具库介绍
Python中sklearn.cal… · PyCalib · R中calibrate包
校准工具库介绍Python
27
校准结果的可视化表达
可靠性图 · 直方图 · 校准曲线对比
校准结果的可视化…可靠性图
28
置信度与业务风险量化
决策错误成本 · 预期损失 · 阈值优化
置信度业务风险量化
29
A/B测试置信度校准的常见问题排查
校准不足 · 过度校准 · 样本量不足
A/B测试置信度校准的…
30
课程总结与最佳实践
校准清单 · 持续监控 · 团队协作建议
课程总结最佳实践