1. AI产品评估概述：评估目的、指标类型、评估生命周期
AI产品评估是确保模型可靠性、业务价值与用户体验的关键环节。本章作为课程起点，明确评估的核心目的、指标的基本分类以及评估从设计到迭代的全生命周期，为后续章节的指标定义与看板构建奠定基础。
1.1 评估目的
AI产品评估并非一次性动作，而是贯穿产品生命周期、驱动持续优化的管理闭环。三大核心目的如下：
- 验证模型性能：确认模型在真实场景下的精度、召回、响应时间等技术指标是否达标。
- 保障业务价值：评估AI能力是否转化为用户留存、收入增长、成本降低等可量化的商业结果。
- 控制风险与合规：识别偏见、安全漏洞、隐私泄露等潜在风险，确保产品符合监管与伦理要求。
关键意识：评估目的决定了指标选择的侧重点。技术导向的团队容易只关注准确率，而忽略业务渗透率与用户满意度；反之，业务导向的评估若缺失技术基线，则难以定位问题根因。
1.2 指标类型
AI产品评估指标可归为三大类型，每类服务于不同评估目的。下表呈现其定义、数据口径与典型示例：
| 指标类型 | 定义与数据口径 | 维度拆解示例 | 典型指标 |
|---|---|---|---|
| 技术指标 | 度量模型计算性能与输出质量，基于模型输出与标签的对比计算 | 按模型版本、数据分布、推理环境拆解 | 准确率、精确率、召回率、F1、推理延迟 |
| 业务指标 | 反映AI能力对业务目标的贡献，来源于业务系统日志或统计 | 按产品线、用户渠道、时间周期拆解 | 转化率、用户留存、收入提升、客户流失降低 |
| 体验指标 | 衡量用户与AI产品交互过程中的主观感受与任务效率，来源于问卷或行为埋点 | 按用户画像、操作路径、任务场景拆解 | 任务完成率、交互时长、满意度评分、净推荐值 |
常见陷阱：仅用单类型指标评估AI产品。例如推荐系统只看CTR（业务指标），却忽略推荐结果的相关性（技术指标）和用户被“圈养”的疲劳感（体验指标），最终导致用户流失。
1.3 评估生命周期
AI产品评估遵循6个阶段闭环，从需求定义到持续监控，每个阶段对应不同的看板结构与分析动作。下图为评估生命周期的完整框架：
实操建议：在项目启动阶段，使用上述生命周期框架进行团队对齐。可以用白板画出6个阶段，明确每个阶段的负责人、交付物与时间节点。这能大幅降低后续因评估口径不一致而导致的返工。
1.4 评估看板的数据口径与异常解释
评估生命周期中的“看板构建”阶段，核心工作是定义每个指标看板的数据口径与异常解释规则。以下表为例展示如何针对不同指标类型设计看板模块：
| 看板模块 | 数据口径 | 异常解释 | 业务动作 |
|---|---|---|---|
| 技术性能看板 | 模型实时推理日志，按分钟聚合 | 延迟 > 200ms 或准确率 < 90% 触发告警 | 回滚模型版本 or 扩容推理节点 |
| 业务价值看板 | 业务系统订单/收入流水，按天聚合 | 转化率环比下降 > 5% 持续2天 | 联合运营排查策略与模型A/B实验影响 |
| 用户体验看板 | 用户行为埋点与NPS问卷，按周聚合 | 任务失败率 > 15% 或满意度 < 3.5分 | 启动用户访谈，识别交互断点，修复后复测 |
复盘分析锚点：在每周评估复盘会上，优先查看异常解释标记的指标。若技术指标正常但业务指标下滑，说明模型性能盲区未被检测；若体验指标恶化但技术指标正常，说明算法优化与用户感受存在偏差，需要更新技术指标定义。
维度拆解方法论：所有看板应支持按“时间、版本、用户群、设备、渠道”等维度下钻。例如同样看准确率，拆解到不同用户年龄段，可能发现年轻人准确率高而老年人偏低，此时需针对老年人场景重新采集数据并微调模型。