VIP20

本课程属于：024-Edge AI模型OTA升级与灰度发布 嵌入式边缘AI与TinyML · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

11. Edge AI A/B测试：不同模型版本的效果对比

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

学习目标 · 核心概念 · 整体框架

课程导入学习目标

边缘计算 · 模型部署 · 推理延迟

A/B测试基础

假设检验 · 对照组与实验组 · 统计显著性

A/B测试基础

Edge AI A/B测试的特殊性

与云端A/B测试的区别 · 如网络波动 · 设备异构

测试目标与指标设计

定义业务指标（如准确率 · 延迟 · 功耗）和技术指标（如内存占用

测试目标指标设计

模型版本管理

模型注册 · 版本控制 · 元数据管理

模型版本管理模型注册

流量分配策略

按用户 · 设备 · 时间片等维度进行流量切分

流量分配策略按用户

实验环境搭建

边缘设备集群 · 模拟器 · 容器化部署

实验环境搭建边缘设备集群

数据采集与埋点

在边缘端记录推理结果 · 性能数据 · 用户行为

数据采集埋点

数据同步与清洗

边缘数据上传 · 去重 · 对齐

数据同步清洗

统计分析方法

t检验 · 卡方检验 · 贝叶斯方法

统计分析方法t检验

多臂老虎机算法

动态分配流量 · 加速实验收敛 · 减少探索成本

多臂老虎机算法动态分配流量

模型效果评估

离线评估与在线评估结合 · 使用混淆矩阵 · AUC

模型效果评估离线评估

性能对比测试

测量推理时间 · CPU/GPU占用 · 内存峰值

性能对比测试测量推理时间

鲁棒性测试

在不同硬件 · 不同输入分布 · 不同网络条件下对比模型稳定性

鲁棒性测试不同硬件

图像分类模型在边缘设备上的A/B测试 · 从设计到分析全流程

案例实战A/B

目标检测模型在智能摄像头上的A/B测… · 关注帧率和精度权衡

案例实战A/B

语音识别模型在智能音箱上的A/B测试 · 处理噪声和延迟问题

案例实战A/B

推荐模型在边缘缓存中的A/B测试 · 评估个性化效果

案例实战A/B

异常检测模型在工业设备上的A/B测试 · 考虑误报率和召回率

案例实战A/B

实验平台与工具

使用MLflow · Kubeflow · Prometheus等工具搭建实验平…

实验平台工具

自动化与CI/CD

将A/B测试集成到模型发布流水线 · 实现自动评估和回滚

监控与告警

实时监控实验指标 · 设置异常告警 · 确保实验安全

结果解读与决策

如何根据统计结果做出上线 · 回滚或继续实验的决策

结果解读决策

常见陷阱与误区

样本偏差 · 多重比较 · 数据泄露

常见陷阱误区

隐私与合规

在边缘端处理用户数据时 · 遵守GDPR等法规 · 保护隐私

成本与资源优化

控制实验成本 · 合理分配边缘设备资源 · 提高实验效率

成本资源优化

综合实战项目

从需求分析到实验设计 · 执行 · 分析

综合实战项目从需求分析到实验…

联邦学习与A/B测试结合 · 在线学习 · 自适应模型更新等

前沿趋势A/B

核心知识回顾 · 技能图谱 · 学习路径建议与进阶资源

课程总结核心知识回顾