2. 验收标准与交付物体系设计

Azure数据与AI项目的验收难点，往往不在于“有没有交付”，而在于“交付到什么程度才算合格”。数据管道跑通一次不等于可验收，模型在测试集上准确率达标也不等于可上线。验收标准与交付物体系要解决三个问题：用什么可度量的指标判断合格、交付哪些可核查的物证、由谁在什么门禁上签字放行。本节围绕这三条主线，给出可落地的设计方法。

一、把验收标准写成可度量的判据

可度量标准的基本结构是“对象 + 指标 + 阈值 + 观测方式 + 判定条件”。以Azure数据与AI项目为例，常见的验收对象包括数据管道、数据质量、模型性能、推理服务、成本与安全合规。仅写“数据完整、模型准确”无法验收，必须落到具体参数。

例如数据管道验收可定义为：在连续7个自然日的生产调度中，每日02:00触发的Azure Data Factory管道成功率≥99%，单次运行时长P95≤25分钟，失败重试后仍失败次数≤1次，观测方式为Azure Monitor管道运行日志与告警记录。数据质量可定义为：对订单事实表按主键去重后行数偏差≤0.5%，关键字段customer_id空值率≤0.1%，金额字段非负比例=100%，观测方式为在Azure Databricks中执行数据质量校验脚本并输出校验报告。

AI模型验收要区分离线与在线。离线可定义：在固定留出测试集（示例：20%时间切分，约12万条样本）上，AUC≥0.85、Recall@阈值0.5≥0.78、推理延迟P95≤80ms（单实例Standard_DS3_v2）。在线可定义：灰度10%流量运行72小时，接口错误率≤0.5%，P95响应≤300ms，业务侧人工抽检准确率≥90%。这些阈值属于示例性设定，实际项目应结合基线模型与业务容忍度确定，并在验收前冻结。

二、交付物清单：从“文档”扩展到“可运行资产”

Azure项目的交付物不应只有验收报告。建议按五类组织：代码与配置、数据与模型、基础设施即代码、文档、运维资产。代码与配置包括Data Factory管道JSON、Databricks Notebook、Azure Functions源码及CI/CD流水线定义；数据与模型包括数据字典、特征定义、模型文件与模型卡；基础设施即代码包括Bicep或Terraform模板、Key Vault密钥引用清单；文档包括架构说明、验收标准表、测试报告；运维资产包括监控仪表板、告警规则、Runbook。

每项交付物要标注存放位置、版本标识、责任人、验收方式。例如模型文件存放于Azure Machine Learning模型注册表，版本号order-risk:v3，责任人为算法工程师，验收方式为从注册表拉取后在测试环境复现AUC。这样交付物才可核查，而不是散落在个人电脑或聊天记录中。

三、质量门禁：把验收拆成可拦截的关卡

质量门禁是验收标准在交付流程中的执行点。建议设置四道门禁：代码合并门禁、数据发布门禁、模型上线门禁、生产放行门禁。代码合并门禁要求单元测试覆盖率≥70%、静态扫描无高危漏洞、IaC模板通过az deployment group what-if校验。数据发布门禁要求数据质量校验全部通过、行数与基线偏差在阈值内。模型上线门禁要求离线指标达标、模型卡完整、公平性与可解释性检查通过。生产放行门禁要求灰度期在线指标达标、回滚方案演练成功、监控告警已生效。

门禁的关键是“不通过则阻断”，并保留例外审批通道。例外必须记录原因、风险、补偿措施与有效期，避免门禁形同虚设。

四、责任矩阵：用RACI明确每个交付物的角色

责任矩阵推荐使用RACI：R负责执行、A最终问责、C被咨询、I被通知。以“模型上线门禁”为例，算法工程师为R，数据科学负责人为A，数据工程师与平台工程师为C，业务方与项目经理为I。责任矩阵要与门禁绑定，每个门禁明确谁提交、谁评审、谁批准、谁记录。没有A的门禁会出现“人人有责、无人拍板”，没有R的门禁会出现“标准很高、无人执行”。

五、验收框架的落地要点

第一，标准先行。在项目启动阶段就冻结验收标准表，避免交付末期因口径不一致反复扯皮。第二，交付物与门禁一一对应，每个门禁至少有一项可自动或半自动核查的物证，减少人工判断。第三，责任矩阵与门禁绑定，每个门禁明确R和A，C和I按需通知。第四，保留证据链，包括测试报告、监控截图、审批记录、例外说明，确保验收结论可追溯。

以某订单风险预测项目为例，验收前冻结的标准为：离线AUC≥0.85、Recall≥0.78；在线灰度72小时错误率≤0.5%、P95≤300ms；数据质量空值率≤0.1%。交付物包括AML模型注册表order-risk:v3、ADF管道JSON、Bicep模板、模型卡与监控仪表板。门禁依次为代码合并、数据发布、模型上线、生产放行。RACI中算法工程师负责模型上线门禁执行，数据科学负责人最终问责。最终验收时，评审组按标准逐项核对物证，确认全部达标后由A角色签字放行。这套框架的价值在于：把“感觉可以了”变成“证据显示达标了”。

验收标准与交付物体系不是一次性文档，而是贯穿项目生命周期的管理工具。标准可度量、交付物可核查、门禁可拦截、责任可追溯，四者闭环，Azure数据与AI项目才能在交付末期顺利通过验收，并在上线后持续可运维、可审计。