2. 指标类型全景图：业务指标、模型指标、体验指标、成本指标的划分与关系

在 AI 产品评估体系中，单一指标无法完整衡量产品价值。你需要建立“四维指标全景图”视角：业务指标衡量商业目标达成，模型指标衡量算法能力，体验指标衡量用户感受，成本指标衡量资源投入与回报。四类指标相互制衡、协同运作，共同构成评估闭环。

2.1 四类指标定义与核心口径

2.2 维度拆解与看板结构

在实际 AI 产品看板中，四类指标按“层级-类型”进行二维拆解。横向按类型分列，纵向按产品阶段分层：

• 北极星层：每类选取 1–2 个全局核心指标，如业务侧的“核心转化率”、成本侧的“单位毛利盈亏比”。
• 支撑层：每个核心指标由 3–5 个二级指标支撑，如模型准确率拆解为 Top-1 / Top-5 准确率。
• 诊断层：二级指标异常时，下钻查看细分维度（分模型版本、分用户群体、分时间段）。

2.3 异常解释与复盘分析

健全的看板需要预设异常解释机制。常见指标异常及根因方向：

复盘分析应遵循“四维归因 + 看板对比”流程：

1. 确认事实：异常指标是否跨维度同时恶化？时间窗口与事件对应关系。
2. 定位根因：比如模型指标正常，体验指标恶化 → 大概率是服务架构或配置问题。
3. 设计动作：确定优化目标（如“保持模型 F1 不变前提下，推理 P99 延迟降低 30%”）。
4. 验证闭环：上线后对比看板四类指标的变化，确认无副作用。

{
  "incident_id": "INC-2025-04-08-001",
  "detected_indicators": ["conversion_rate", "model_accuracy", "p99_latency"],
  "root_cause": "model_version 2.3.1 前处理层引入 O(n²) 循环，导致 batch 推理时延倍增",
  "action_taken": "回退 2.3.0 版本并预发验证",
  "cross_dimension_impact": {
    "business": true,
    "model": true,
    "experience": true,
    "cost": false
  }
}

2.4 业务动作与看板联动

指标的终极目的是驱动决策。日常迭代中，四类指标的“联动策略”如下：

• 模型上线前：必须在离线环境中对齐模型指标与成本指标，预估推理耗时与 APU 消耗。
• 灰度放量中：看板实时监控体验指标（响应时间、错误率）和业务指标（转化率），发现任何一类恶化立即暂停。
• 全量上线后：每周复盘四类指标趋势，重点检查“模型指标提升”是否被“成本增加”或“体验下降”抵消。