第4章 对齐前准备工作:对齐会议组织、参与角色确认、数据源准备、工具模板准备
对齐前准备工作是整个指标对齐流程的起点,直接影响后续对齐工作的效率与质量。本章按照 SOP 结构,覆盖从会议组织到工具模板就绪的全链路准备环节,确保所有参与方在进入正式对齐前具备统一的信息基础、明确的角色分工和可操作的工作模板。
4.1 适用场景
- 首次启动对齐:AI 产品团队初次开展业务指标与模型指标对齐工作,尚无标准化流程可复用。
- 阶段转换对齐:项目从开发进入测试、从测试进入上线等关键节点,需重新确认指标一致性。
- 指标体系变更:业务指标定义、计算口径或数据源发生重大调整,需要触发新一轮对齐。
- 模型版本迭代:模型升级(如从 v1.0 到 v2.0)后,需验证新旧版本指标对比的一致性基线。
4.2 前置条件
| 序号 | 前置条件 | 验收说明 |
|---|---|---|
| 1 | 业务指标定义已评审定稿 | 至少包含指标名称、口径、目标值、数据源 |
| 2 | 模型指标清单已初步梳理 | 包含指标名称、计算方式、当前值、输出位置 |
| 3 | 核心干系人清单已识别 | 业务方、算法、工程、数据、QA 角色已标注 |
| 4 | 所需数据源可访问 | 数据仓库/日志系统/离线表有读取权限 |
| 5 | 对齐工具模板初稿可用 | 至少包含指标映射表和差异分析表两个子模板 |
⚠ 重要:前置条件未满足时,不得跳过步骤直接组织对齐会议。例如数据源尚不可访问时,即使会议召开也无法完成数据验证环节,会造成重复返工。
4.3 操作步骤
步骤一:组织对齐会议
- 制定会议议程:明确会议目标(如首次对齐 / 变更后重对齐 / 版本对比),预估时长(建议 60–90 分钟),分配各环节时间占比。
- 发送会议邀请:至少提前 3 个工作日发出,附带前置阅读材料(业务指标文档、模型指标清单、数据源说明)。
- 准备会议材料:打印或在线共享指标映射模板、空白差异分析表、签到表。
- 预定会议设施:如需线下,准备投影/白板;如线上,确保屏幕共享与录制功能可用。
步骤二:确认参与角色
| 角色 | 职责说明 | 必须出席 |
|---|---|---|
| AI 产品经理(PM) | 组织会议、主持流程、记录差异、跟进闭环 | 是 |
| 业务方代表 | 提供业务指标的业务含义、目标值、验收标准 | 是 |
| 算法工程师 | 解释模型指标计算逻辑、确认特征与输出 | 是 |
| 数据工程师 | 确保数据源可查询、提供数据样例、说明口径 | 推荐出席 |
| QA/测试工程师 | 记录验收条件、后续参与指标验证 | 可选 |
- 列出角色清单:按上表匹配实际项目人员,标注必须出席与可选出席。
- 确认参会人:逐一与各角色沟通时间,确保核心角色(PM、业务方、算法)无冲突。
- 指定记录人:明确由 PM 或专人负责会议纪要,建议使用共享文档实时协作。
步骤三:准备数据源
| 数据源类型 | 准备内容 | 验收标准 |
|---|---|---|
| 业务数据(离线表) | 提供最近 7 天数据样例,包含所有业务指标所需字段 | 字段完整、无空值异常、口径与定义一致 |
| 模型推理日志 | 提供最近一次模型运行的日志样本,包含输出分数、标签、时间戳 | 日志可解析、关键字段无缺失 |
| 实时 API 数据 | 准备接口文档与近期调用示例(JSON 格式) | 接口可响应、返回结构清晰 |
| 特征工程输出 | 提供特征列表与计算依赖关系图 | 特征名称与模型输入一致 |
- 识别所需数据源:对照业务指标与模型指标清单,列出所有用到的数据表、日志、接口。
- 检查可访问性:由数据工程师验证读取权限、表是否存在、分区是否可用。
- 准备数据样例:每个数据源抽取 3–5 条典型记录,标注字段含义,供会议现场快速核验。
💡 最佳实践:将数据样例提前嵌入对齐模板的“数据样本”页签中,会议中可直接对照指标定义进行口径验证,避免临时查询浪费时间。
步骤四:准备工具模板
- 选择对齐模板:使用标准《业务指标-模型指标映射表》,包含以下字段:指标类别、指标名称、口径定义、数据源、目标值、当前值、差异标记、责任人、状态。
- 预填已知信息:将业务指标和模型指标清单分别填入映射表,标注已确认一致的部分和待讨论的部分。
- 准备差异分析表:设计差异记录结构,用于追踪每项差异的原因、影响范围、解决方案和截止时间。
以下是一个指标映射模板的核心 JSON 结构示例:
{
"sessionId": "ALIGN-2025-004",
"project": "推荐系统 v3.1 指标对齐",
"date": "2025-03-10",
"organizer": "张三 (AI PM)",
"metrics": [
{
"category": "业务指标",
"name": "用户次日留存率",
"definition": "新增用户次日再次使用产品的比例",
"dataSource": "user_behavior.dws_retention_daily",
"targetValue": "≥ 40%",
"currentValue": "38.2%",
"gap": "待分析"
},
{
"category": "模型指标",
"name": "推荐点击率 (CTR)",
"definition": "推荐位曝光后被点击的次数 / 曝光次数",
"dataSource": "rec_engine.log_serving_daily",
"targetValue": "≥ 3.5%",
"currentValue": "3.2%",
"gap": "待分析"
}
],
"gapAnalysis": [],
"status": "会议准备中"
}
📌 关键动作:模板预填完成后,PM 需在会前 1 个工作日发给所有参会角色进行“预审”,避免会议现场才发现口径不一致导致会议延期。
4.4 输入输出物
| 方向 | 名称 | 来源/去向 |
|---|---|---|
| 输入 | 业务指标定义文档(已定稿) | 业务方提供 |
| 输入 | 模型指标清单(初版) | 算法工程师提供 |
| 输入 | 数据源清单与权限说明 | 数据工程师提供 |
| 输出 | 对齐会议纪要(含签到表) | PM 归档至项目文档库 |
| 输出 | 角色确认表(含职责与联系方式) | PM 维护,各角色签字确认 |
| 输出 | 数据源准备检查清单(已打勾) | 数据工程师提交,PM 复核 |
| 输出 | 指标映射模板(预填版) | PM 填写,会前分发给所有参会者预审 |
4.5 责任边界
| 角色 | 责任内容 | 协作方 |
|---|---|---|
| AI 产品经理 | 组织会议、准备模板、推动流程、记录差异、跟踪闭环 | 所有角色 |
| 业务方代表 | 提供业务指标定义与目标值、确认业务口径 | PM、数据工程师 |
| 算法工程师 | 提供模型指标计算逻辑、确认特征与输出字段 | PM、数据工程师 |
| 数据工程师 | 保障数据源可访问、提供数据样例、验证口径一致性 | PM、业务方、算法 |
责任界限说明:PM 承担最终准备就绪的审核责任,任何环节未完成时 PM 有权推迟对齐会议,直至所有前置条件满足。
4.6 记录材料
- 对齐会议签到表(纸质或电子签名,含角色、部门、联系方式)
- 角色确认表(各角色职责与对应人员名单,需本人确认)
- 数据源准备检查单(逐项打勾,数据工程师签字,PM 复核签字)
- 指标映射模板(预填版)(会前分发的版本归档,作为会议讨论基线)
- 会议录制/录屏(如线上举行,需参会者知情同意后录制)
4.7 异常处理
| 异常情景 | 处理措施 | 责任人 |
|---|---|---|
| 核心角色(业务方/算法)无法出席 | 延期会议,重新协调时间,确保所有“必须出席”角色可到场 | PM |
| 数据源访问权限未及时开通 | 标记为“数据源阻塞”,会议中跳过该指标讨论,由数据工程师在 2 个工作日内解决后补充对齐 | 数据工程师 |
| 模板预填发现口径争议 | 将争议项记录至差异分析表,安排 30 分钟专题讨论,仍无法达成一致的由 PM 升级至项目决策委员会 | PM |
| 会议超时(超过 90 分钟) | 终止讨论未完成项,标记为“待办”,安排 30 分钟补充会议 | PM |
| 数据样例与定义明显不一致 | 暂停该指标讨论,由数据工程和业务方在会后重新核对口径,1 个工作日内反馈修正结果 | 数据工程师 + 业务方 |
⚠ 异常升级原则:同一指标的口径争议经过 2 次补充讨论仍无法达成一致时,必须升级至项目负责人或产品委员会做出仲裁,不得无限期搁置。
4.8 验收标准
| 验收项 | 验收标准 | 验收人 |
|---|---|---|
| 会议组织 | 会议纪要完整,包含议程、参会人、讨论结论、待办事项;录制文件已归档 | PM |
| 角色确认 | 所有必须出席角色已到场并签字确认职责;缺席角色已指定代理人并记录 | PM |
| 数据源准备 | 所有涉及数据源已检查可访问性,数据样例已提供并与口径核对一致 | 数据工程师 + PM |
| 工具模板 | 指标映射模板已预填完成,经参会角色预审无重大歧义;差异分析表结构已就绪 | PM + 业务方 + 算法 |
| 整体就绪 | 以上四项全部验收通过,PM 在项目文档库中标记“对齐前准备完成”,可进入正式指标对齐环节 | PM |
✅ 完成标志:本章所有操作步骤执行完毕且验收标准全部通过后,PM 方可启动第 5 章“业务指标与模型指标映射对齐”流程。任何一项验收未通过,均不得进入下一阶段。