1. 明确业务目标与关键结果:识别产品北极星指标、拆解业务OKR、确定模型对齐的最终业务价值
模型指标对齐的第一个动作不是看数据、调参数,而是向上对齐。如果模型优化的方向与产品真正的增长杠杆错位,后续所有工程投入都会产生系统性偏差。本章聚焦把“业务语言”翻译为“模型语言”的第一道工序。
适用场景
- 新产品立项:核心指标尚未定义,需从零搭建对齐框架。
- 存量模型迭代:现有离线指标与线上业务效果存在明显 gap,需重新校准对齐目标。
- 跨团队协作启动:算法、产品、运营三方对“什么指标最重要”存在概念分歧。
- 季度/版本复盘:业务 OKR 发生变更,模型指标需同步刷新。
前置条件
| 条件类别 | 具体内容 | 验收标准 |
|---|---|---|
| 信息材料 | 产品 PRD、公司/部门季度 OKR 文档、历史模型效果报告 | 文档版本明确、可追溯 |
| 关键角色 | 产品负责人(PO)、算法负责人、数据分析师 | 已明确决策权与免责边界 |
| 业务共识 | 至少完成一次“北极星指标”闭门对齐会议 | 会议纪要中记录三方确认的候选指标 |
核心概念:北极星指标与 OKR 的逐级映射
操作步骤
-
识别并定义北极星指标
组织产品、算法、分析三方闭门会,采用“唯一指标法”筛选:候选指标列表 → 逐一评估可衡量性、可干预性、与长期价值相关性 → 投票确定唯一北极星指标。
-
拆解业务 OKR
将北极星指标分解为 2-4 个可量化的关键结果(KRs)。每个 KR 必须满足:与北极星指标存在直接可推导的因果链、能独立归因给某个模型或策略模块。
-
映射模型对齐的最终业务价值
为每个 KR 指定其承载模型(如分类/回归/排序/召回),明确该模型输出结果(如预测概率、排序分)被业务端使用的方式和收益触发器。
-
输出对齐正式文档
编写《北极星指标定义书》与《OKR↔模型指标映射表》,经三方责任人签字确认后冻结为基线,后续章节的动作均基于此基线展开。
输入输出物
| 类型 | 名称 | 格式 | 责任人 |
|---|---|---|---|
| 输入物 | 产品 PRD + 季度 OKR 文档 | Confluence / PDF | 产品负责人 |
| 输入物 | 候选指标枚举清单(含数据可获取性说明) | Excel / 在线表格 | 数据分析师 |
| 输出物 1 | 北极星指标定义文档 | MD / 共享文档 | 算法负责人 |
| 输出物 2 | 业务 OKR → 模型指标映射表 | Excel / 飞书多维表格 | 产品负责人 |
| 输出物 3 | 三方签字/确认纪要 | PDF / 审批截图 | PMO / 项目助理 |
责任边界
- 产品负责人:对北极星指标的“业务正确性”负责;提供 OKR 文档,确认 KR 的行业基准值。
- 算法负责人:对北极星指标的“可被模型优化性”负责;提出约束条件(如特征获取延迟不可超过 2 小时、模型预估不可使用未来数据)。
- 数据分析师:对北极星指标的“可衡量性”负责;提供历史数据支撑,证明该指标可稳定采集、计算、监控。
常见责任漂移:产品团队直接给出北极星指标数值(如“日活做到 500 万”),但未评估该数值与模型优化环节的直接关系,导致后续模型指标对齐时找不到可优化的杠杆点。北极星指标必须是“可被模型直接或间接影响”的指标,而非纯业务结果数字。
记录材料
- 北极星指标定义书(版本 v1.0):包含指标名称、计算公式、数据源、采集频率、历史趋势基线。
- OKR↔模型映射表:业务目标 → KR → 承载模型 → 模型输出字段 → 业务使用方 → 更新周期。
- 三方对齐会议纪要:记录分歧点(如候选指标投票票数分布)、最终决策理由、保留的替代指标(作为第 2 梯队对齐目标)。
异常处理
| 异常现象 | 严重程度 | 处理方式 |
|---|---|---|
| 产品与算法对北极星指标选择僵持不下 | 阻塞 | 开展 A/B 预实验(7 天),对比两个候选指标对同一小流量模型优化的敏感性,以数据说服双方。 |
| 北极星指标无法被当前任何模型直接优化 | 警告 | 拆解为 Proxy 指标(如用“首周活跃天数”代理“7 日留存”),并在映射表中标注 proxy 关系与假设验证计划。 |
| OKR 中的 KR 数据源正在改造,无法按时提供数据 | 阻断 | 将该 KR 标记为“依赖不满足”,调整至下一版本;使用相邻可替代 KR 作为临时对齐目标。 |
验收标准
- 北极星指标满足“唯一、可衡量、可干预、长期价值导向”四项检查清单。
- 每条 KR 均对应至少一个具体模型或策略模块,不存在“无主 KR”。
- 输出物《北极星指标定义文档》和《映射表》经三方邮件/系统确认后归档,后续章节必须引用该基线版本号。
- 异常处理记录中所有阻塞项必须有明确的后续动作(如预实验计划、Proxy 指标假设验证 schedule)。
效率技巧:在识别北极星指标阶段,使用“假设-验证-锁定”三回合讨论法:第一回合各团队匿名提交自己认为的北极星指标;第二回合针对票数最高的 3 个指标逐条辩论(只允许数据说话);第三回合投票锁定。整个过程控制在 90 分钟内,避免在会议室中陷入无数据支持的空想推理。