1. 明确业务目标与关键结果:识别产品北极星指标、拆解业务OKR、确定模型对齐的最终业务价值

模型指标对齐的第一个动作不是看数据、调参数,而是向上对齐。如果模型优化的方向与产品真正的增长杠杆错位,后续所有工程投入都会产生系统性偏差。本章聚焦把“业务语言”翻译为“模型语言”的第一道工序。

适用场景

  • 新产品立项:核心指标尚未定义,需从零搭建对齐框架。
  • 存量模型迭代:现有离线指标与线上业务效果存在明显 gap,需重新校准对齐目标。
  • 跨团队协作启动:算法、产品、运营三方对“什么指标最重要”存在概念分歧。
  • 季度/版本复盘:业务 OKR 发生变更,模型指标需同步刷新。

前置条件

条件类别具体内容验收标准
信息材料产品 PRD、公司/部门季度 OKR 文档、历史模型效果报告文档版本明确、可追溯
关键角色产品负责人(PO)、算法负责人、数据分析师已明确决策权与免责边界
业务共识至少完成一次“北极星指标”闭门对齐会议会议纪要中记录三方确认的候选指标

核心概念:北极星指标与 OKR 的逐级映射

业务目标 → 模型指标逐级对齐框架 北极星指标 (日活跃用户数 · 用户首单率) 业务 OKR(目标与关键结果) 目标:提升新用户7日留存 KR1: 7日留存率提升至35% 目标:增加高价值用户LTV KR2: 月付费转化率提升10% 模型对齐的最终业务价值 回归模型:留存概率预测 召回模型:高价值行为挖掘 排序模型:付费概率排序 输出物1:北极星指标定义文档 (含入选理由与排除理由) 输出物2:业务OKR → 模型指标映射表 (含量化目标与数据源标注)

操作步骤

  1. 识别并定义北极星指标

    组织产品、算法、分析三方闭门会,采用“唯一指标法”筛选:候选指标列表 → 逐一评估可衡量性、可干预性、与长期价值相关性 → 投票确定唯一北极星指标。

  2. 拆解业务 OKR

    将北极星指标分解为 2-4 个可量化的关键结果(KRs)。每个 KR 必须满足:与北极星指标存在直接可推导的因果链、能独立归因给某个模型或策略模块。

  3. 映射模型对齐的最终业务价值

    为每个 KR 指定其承载模型(如分类/回归/排序/召回),明确该模型输出结果(如预测概率、排序分)被业务端使用的方式和收益触发器。

  4. 输出对齐正式文档

    编写《北极星指标定义书》与《OKR↔模型指标映射表》,经三方责任人签字确认后冻结为基线,后续章节的动作均基于此基线展开。

输入输出物

类型名称格式责任人
输入物产品 PRD + 季度 OKR 文档Confluence / PDF产品负责人
输入物候选指标枚举清单(含数据可获取性说明)Excel / 在线表格数据分析师
输出物 1北极星指标定义文档MD / 共享文档算法负责人
输出物 2业务 OKR → 模型指标映射表Excel / 飞书多维表格产品负责人
输出物 3三方签字/确认纪要PDF / 审批截图PMO / 项目助理

责任边界

  • 产品负责人:对北极星指标的“业务正确性”负责;提供 OKR 文档,确认 KR 的行业基准值。
  • 算法负责人:对北极星指标的“可被模型优化性”负责;提出约束条件(如特征获取延迟不可超过 2 小时、模型预估不可使用未来数据)。
  • 数据分析师:对北极星指标的“可衡量性”负责;提供历史数据支撑,证明该指标可稳定采集、计算、监控。
常见责任漂移:产品团队直接给出北极星指标数值(如“日活做到 500 万”),但未评估该数值与模型优化环节的直接关系,导致后续模型指标对齐时找不到可优化的杠杆点。北极星指标必须是“可被模型直接或间接影响”的指标,而非纯业务结果数字。

记录材料

  • 北极星指标定义书(版本 v1.0):包含指标名称、计算公式、数据源、采集频率、历史趋势基线。
  • OKR↔模型映射表:业务目标 → KR → 承载模型 → 模型输出字段 → 业务使用方 → 更新周期。
  • 三方对齐会议纪要:记录分歧点(如候选指标投票票数分布)、最终决策理由、保留的替代指标(作为第 2 梯队对齐目标)。

异常处理

异常现象严重程度处理方式
产品与算法对北极星指标选择僵持不下阻塞开展 A/B 预实验(7 天),对比两个候选指标对同一小流量模型优化的敏感性,以数据说服双方。
北极星指标无法被当前任何模型直接优化警告拆解为 Proxy 指标(如用“首周活跃天数”代理“7 日留存”),并在映射表中标注 proxy 关系与假设验证计划。
OKR 中的 KR 数据源正在改造,无法按时提供数据阻断将该 KR 标记为“依赖不满足”,调整至下一版本;使用相邻可替代 KR 作为临时对齐目标。

验收标准

  • 北极星指标满足“唯一、可衡量、可干预、长期价值导向”四项检查清单。
  • 每条 KR 均对应至少一个具体模型或策略模块,不存在“无主 KR”。
  • 输出物《北极星指标定义文档》和《映射表》经三方邮件/系统确认后归档,后续章节必须引用该基线版本号。
  • 异常处理记录中所有阻塞项必须有明确的后续动作(如预实验计划、Proxy 指标假设验证 schedule)。
效率技巧:在识别北极星指标阶段,使用“假设-验证-锁定”三回合讨论法:第一回合各团队匿名提交自己认为的北极星指标;第二回合针对票数最高的 3 个指标逐条辩论(只允许数据说话);第三回合投票锁定。整个过程控制在 90 分钟内,避免在会议室中陷入无数据支持的空想推理。