第4章 对齐前准备工作:对齐会议组织、参与角色确认、数据源准备、工具模板准备

对齐前准备工作是整个指标对齐流程的起点,直接影响后续对齐工作的效率与质量。本章按照 SOP 结构,覆盖从会议组织到工具模板就绪的全链路准备环节,确保所有参与方在进入正式对齐前具备统一的信息基础、明确的角色分工和可操作的工作模板。

4.1 适用场景

  • 首次启动对齐:AI 产品团队初次开展业务指标与模型指标对齐工作,尚无标准化流程可复用。
  • 阶段转换对齐:项目从开发进入测试、从测试进入上线等关键节点,需重新确认指标一致性。
  • 指标体系变更:业务指标定义、计算口径或数据源发生重大调整,需要触发新一轮对齐。
  • 模型版本迭代:模型升级(如从 v1.0 到 v2.0)后,需验证新旧版本指标对比的一致性基线。

4.2 前置条件

序号 前置条件 验收说明
1 业务指标定义已评审定稿 至少包含指标名称、口径、目标值、数据源
2 模型指标清单已初步梳理 包含指标名称、计算方式、当前值、输出位置
3 核心干系人清单已识别 业务方、算法、工程、数据、QA 角色已标注
4 所需数据源可访问 数据仓库/日志系统/离线表有读取权限
5 对齐工具模板初稿可用 至少包含指标映射表和差异分析表两个子模板
⚠ 重要:前置条件未满足时,不得跳过步骤直接组织对齐会议。例如数据源尚不可访问时,即使会议召开也无法完成数据验证环节,会造成重复返工。

4.3 操作步骤

步骤一:组织对齐会议

  1. 制定会议议程:明确会议目标(如首次对齐 / 变更后重对齐 / 版本对比),预估时长(建议 60–90 分钟),分配各环节时间占比。
  2. 发送会议邀请:至少提前 3 个工作日发出,附带前置阅读材料(业务指标文档、模型指标清单、数据源说明)。
  3. 准备会议材料:打印或在线共享指标映射模板、空白差异分析表、签到表。
  4. 预定会议设施:如需线下,准备投影/白板;如线上,确保屏幕共享与录制功能可用。

步骤二:确认参与角色

角色 职责说明 必须出席
AI 产品经理(PM) 组织会议、主持流程、记录差异、跟进闭环 是
业务方代表 提供业务指标的业务含义、目标值、验收标准 是
算法工程师 解释模型指标计算逻辑、确认特征与输出 是
数据工程师 确保数据源可查询、提供数据样例、说明口径 推荐出席
QA/测试工程师 记录验收条件、后续参与指标验证 可选
  1. 列出角色清单:按上表匹配实际项目人员,标注必须出席与可选出席。
  2. 确认参会人:逐一与各角色沟通时间,确保核心角色(PM、业务方、算法)无冲突。
  3. 指定记录人:明确由 PM 或专人负责会议纪要,建议使用共享文档实时协作。

步骤三:准备数据源

数据源类型 准备内容 验收标准
业务数据(离线表) 提供最近 7 天数据样例,包含所有业务指标所需字段 字段完整、无空值异常、口径与定义一致
模型推理日志 提供最近一次模型运行的日志样本,包含输出分数、标签、时间戳 日志可解析、关键字段无缺失
实时 API 数据 准备接口文档与近期调用示例(JSON 格式) 接口可响应、返回结构清晰
特征工程输出 提供特征列表与计算依赖关系图 特征名称与模型输入一致
  1. 识别所需数据源:对照业务指标与模型指标清单,列出所有用到的数据表、日志、接口。
  2. 检查可访问性:由数据工程师验证读取权限、表是否存在、分区是否可用。
  3. 准备数据样例:每个数据源抽取 3–5 条典型记录,标注字段含义,供会议现场快速核验。
💡 最佳实践:将数据样例提前嵌入对齐模板的“数据样本”页签中,会议中可直接对照指标定义进行口径验证,避免临时查询浪费时间。

步骤四:准备工具模板

  1. 选择对齐模板:使用标准《业务指标-模型指标映射表》,包含以下字段:指标类别、指标名称、口径定义、数据源、目标值、当前值、差异标记、责任人、状态。
  2. 预填已知信息:将业务指标和模型指标清单分别填入映射表,标注已确认一致的部分和待讨论的部分。
  3. 准备差异分析表:设计差异记录结构,用于追踪每项差异的原因、影响范围、解决方案和截止时间。

以下是一个指标映射模板的核心 JSON 结构示例:

{
  "sessionId": "ALIGN-2025-004",
  "project": "推荐系统 v3.1 指标对齐",
  "date": "2025-03-10",
  "organizer": "张三 (AI PM)",
  "metrics": [
    {
      "category": "业务指标",
      "name": "用户次日留存率",
      "definition": "新增用户次日再次使用产品的比例",
      "dataSource": "user_behavior.dws_retention_daily",
      "targetValue": "≥ 40%",
      "currentValue": "38.2%",
      "gap": "待分析"
    },
    {
      "category": "模型指标",
      "name": "推荐点击率 (CTR)",
      "definition": "推荐位曝光后被点击的次数 / 曝光次数",
      "dataSource": "rec_engine.log_serving_daily",
      "targetValue": "≥ 3.5%",
      "currentValue": "3.2%",
      "gap": "待分析"
    }
  ],
  "gapAnalysis": [],
  "status": "会议准备中"
}
📌 关键动作:模板预填完成后,PM 需在会前 1 个工作日发给所有参会角色进行“预审”,避免会议现场才发现口径不一致导致会议延期。
对齐前准备工作流程 组织对齐会议 明确议程与目标 确认参与角色 PM·算法·业务·工程 准备数据源 业务数据·模型数据 准备工具模板 映射表·差异分析表 准备工作完成 可进入正式对齐 💡 四个准备步骤按顺序执行,前一环节完成后才能进入下一环节 任何环节出现异常,需返回上一环节重新确认后方可继续

4.4 输入输出物

方向 名称 来源/去向
输入 业务指标定义文档(已定稿) 业务方提供
输入 模型指标清单(初版) 算法工程师提供
输入 数据源清单与权限说明 数据工程师提供
输出 对齐会议纪要(含签到表) PM 归档至项目文档库
输出 角色确认表(含职责与联系方式) PM 维护,各角色签字确认
输出 数据源准备检查清单(已打勾) 数据工程师提交,PM 复核
输出 指标映射模板(预填版) PM 填写,会前分发给所有参会者预审

4.5 责任边界

角色 责任内容 协作方
AI 产品经理 组织会议、准备模板、推动流程、记录差异、跟踪闭环 所有角色
业务方代表 提供业务指标定义与目标值、确认业务口径 PM、数据工程师
算法工程师 提供模型指标计算逻辑、确认特征与输出字段 PM、数据工程师
数据工程师 保障数据源可访问、提供数据样例、验证口径一致性 PM、业务方、算法

责任界限说明:PM 承担最终准备就绪的审核责任,任何环节未完成时 PM 有权推迟对齐会议,直至所有前置条件满足。

4.6 记录材料

  • 对齐会议签到表(纸质或电子签名,含角色、部门、联系方式)
  • 角色确认表(各角色职责与对应人员名单,需本人确认)
  • 数据源准备检查单(逐项打勾,数据工程师签字,PM 复核签字)
  • 指标映射模板(预填版)(会前分发的版本归档,作为会议讨论基线)
  • 会议录制/录屏(如线上举行,需参会者知情同意后录制)

4.7 异常处理

异常情景 处理措施 责任人
核心角色(业务方/算法)无法出席 延期会议,重新协调时间,确保所有“必须出席”角色可到场 PM
数据源访问权限未及时开通 标记为“数据源阻塞”,会议中跳过该指标讨论,由数据工程师在 2 个工作日内解决后补充对齐 数据工程师
模板预填发现口径争议 将争议项记录至差异分析表,安排 30 分钟专题讨论,仍无法达成一致的由 PM 升级至项目决策委员会 PM
会议超时(超过 90 分钟) 终止讨论未完成项,标记为“待办”,安排 30 分钟补充会议 PM
数据样例与定义明显不一致 暂停该指标讨论,由数据工程和业务方在会后重新核对口径,1 个工作日内反馈修正结果 数据工程师 + 业务方
⚠ 异常升级原则:同一指标的口径争议经过 2 次补充讨论仍无法达成一致时,必须升级至项目负责人或产品委员会做出仲裁,不得无限期搁置。

4.8 验收标准

验收项 验收标准 验收人
会议组织 会议纪要完整,包含议程、参会人、讨论结论、待办事项;录制文件已归档 PM
角色确认 所有必须出席角色已到场并签字确认职责;缺席角色已指定代理人并记录 PM
数据源准备 所有涉及数据源已检查可访问性,数据样例已提供并与口径核对一致 数据工程师 + PM
工具模板 指标映射模板已预填完成,经参会角色预审无重大歧义;差异分析表结构已就绪 PM + 业务方 + 算法
整体就绪 以上四项全部验收通过,PM 在项目文档库中标记“对齐前准备完成”,可进入正式指标对齐环节 PM
✅ 完成标志:本章所有操作步骤执行完毕且验收标准全部通过后,PM 方可启动第 5 章“业务指标与模型指标映射对齐”流程。任何一项验收未通过,均不得进入下一阶段。