📚 课程目录第2章特征存储基础

2. 特征存储基础：Hive、HDFS、特征表分区设计与元数据管理

离线特征存储是特征工程的基石。在工业级特征平台中，特征数据通常以分区表的形式存储在 Hive 中，底层依赖 HDFS 提供高吞吐、低成本、高可靠的分布式存储。本章将深入剖析特征存储的物理结构、分区设计原则以及元数据管理的最佳实践，为后续的离线巡检与 PSI 监控打下坚实的存储认知基础。

2.1 存储体系分层：HDFS → Hive → 特征表

特征数据从原始日志到最终可被模型直接读取的特征视图，经历了三层抽象：

HDFS（物理存储层）：以块（Block）为单位存储数据，默认块大小 128MB/256MB，提供数据冗余（默认 3 副本）与高吞吐顺序读写。
Hive（元数据与 SQL 层）：将 HDFS 上的结构化/半结构化数据映射为表（Table）和分区（Partition），通过 Metastore 管理 Schema、分区路径、SerDe 等信息。
特征表（业务逻辑层）：在 Hive 表之上约定特征字段命名规范、时间分区策略、主键与标签字段，形成可供特征工程流水线直接消费的“特征宽表”或“特征映射表”。

  关键认知： 特征巡检与 PSI 监控的底层数据源，本质上是对 Hive 分区表的元数据（分区数、记录数、空值率、分布直方图）进行周期性扫描。理解 HDFS 的存储布局，有助于诊断数据倾斜、小文件膨胀等巡检常见问题。

2.2 特征表分区设计原则

分区是 Hive 表性能与可维护性的核心。对于离线特征表，通常采用时间分区 + 可选业务分区的组合策略。以下是最常见的分区设计模式：

分区维度	分区字段	分区粒度	典型场景	注意事项
时间分区（必选）	`dt`	天 (yyyyMMdd)	每日特征快照、增量特征更新	避免跨天扫描；分区数不宜超过 1000
小时分区（可选）	`hh`	小时 (HH)	实时特征回溯、高频特征流水线	与 dt 联合分区；注意小文件问题
业务分区（可选）	`feature_group`	枚举值	用户画像、物品属性、上下文特征	分区值数量固定，避免动态分区膨胀
版本分区（可选）	`version`	字符串 (v1/v2)	特征回溯实验、A/B 测试特征版本	配合 dt 使用，避免全表扫描

最佳实践： 推荐使用 dt 作为必选分区字段，格式统一为 yyyyMMdd。对于超大规模特征表（日增量 > 1TB），可考虑 dt + hh 双层分区，但需设置小时分区上限（如 24 个），避免产生过多小文件。

2.3 分区设计避坑指南

分区粒度过细：分钟级分区会导致 HDFS 上产生海量小文件（每个分区可能只有几 MB），严重降低 NameNode 性能和读取效率。建议最小粒度为小时。
分区值动态膨胀：使用 user_id 或 item_id 作为分区字段会导致分区数无限增长，Hive Metastore 在查询时需加载全部分区元数据，造成性能瓶颈。业务分区必须为有限枚举值。
跨分区扫描无分区剪枝：查询时未指定 dt 或使用函数包裹分区字段（如 WHERE dt = from_unixtime(...)），导致 Hive 无法进行分区剪枝，触发全表扫描。
分区路径不一致：手动移动 HDFS 文件或使用 ALTER TABLE ... ADD PARTITION 时路径写错，导致数据与元数据不一致，巡检时出现“分区存在但数据为空”的异常。

巡检重点关注： 在离线特征巡检中，需要定期检查每个分区的 文件数、平均文件大小、记录数。如果发现某个分区的文件数超过阈值（如 > 1000 个文件），或平均文件大小小于 64MB，应触发小文件合并告警。

2.4 元数据管理：Metastore 与特征血缘

Hive Metastore 是特征存储的“大脑”，它记录了每张特征表的：

表级元数据：表名、数据库名、所有者、创建时间、表类型（内部表/外部表）、SerDe 信息、存储格式（ORC/Parquet/Text）。
分区级元数据：分区字段、分区值列表、每个分区的 HDFS 路径、分区记录数（通过 ANALYZE TABLE 收集）、分区大小。
列级元数据：列名、列类型、列注释、是否允许为 NULL。

在特征平台中，元数据管理还需要扩展以下能力：

元数据维度	管理内容	巡检用途
特征血缘	特征从原始日志 → ETL → 特征表的依赖链路	定位特征异常的上游来源
分区生命周期	每个分区的保留天数、过期时间	巡检过期分区是否被清理
特征统计信息	均值、方差、空值率、唯一值数、分位数	PSI 监控的基准分布
数据质量规则	非空约束、值域约束、主键唯一性约束	巡检时校验规则是否被违反

dt=yyyyMMdd 分区并更新 Metastore 2. 离线巡检读取 Metastore 获取分区列表、记录数、文件数、空值率 3. PSI 监控基于历史分区的统计信息计算分布偏移，触发告警阈值

2.5 特征表 DDL 示例

以下是一个典型的离线特征宽表 DDL，展示了分区设计、存储格式与元数据注释的最佳实践：

-- 特征宽表：user_daily_features
-- 存储格式：ORC（列式存储，高压缩比，支持谓词下推）
-- 分区策略：dt（天级分区）
-- 主键：user_id（非分区字段，避免分区膨胀）
CREATE EXTERNAL TABLE feature_store.user_daily_features (
    user_id          STRING  COMMENT '用户唯一标识',
    age              INT     COMMENT '用户年龄',
    gender           STRING  COMMENT '性别: M/F',
    lifetime_value   DOUBLE  COMMENT '用户生命周期价值',
    active_days_7d   INT     COMMENT '近7天活跃天数',
    avg_order_amt_30d DOUBLE COMMENT '近30天平均订单金额',
    feature_version  STRING  COMMENT '特征版本号，如 v2.3.1'
)
COMMENT '用户每日特征宽表，用于 CTR 模型训练与实时推理'
PARTITIONED BY (dt STRING COMMENT '天分区，格式 yyyyMMdd')
STORED AS ORC
TBLPROPERTIES (
    'orc.compress' = 'SNAPPY',
    'orc.bloom.filter.columns' = 'user_id',
    'orc.row.index.stride' = '3000',
    'comment' = '主键: user_id; 分区: dt; 保留天数: 30'
);

  DDL 设计要点：
  使用 EXTERNAL TABLE 避免误删 HDFS 数据；
分区字段 dt 放在最后，与 Hive 分区剪枝优化兼容；
ORC 格式配合 SNAPPY 压缩，兼顾查询性能与存储成本；
在 TBLPROPERTIES 中记录保留天数，供巡检脚本自动清理过期分区。

2.6 本章小结

特征存储是离线特征工程的基石。HDFS 提供可靠的物理存储，Hive 通过分区与元数据管理将原始文件抽象为可高效查询的特征表。合理的分区设计（时间分区 + 有限业务分区）是保障巡检与 PSI 监控性能的前提。元数据管理不仅包含表结构与分区路径，还应扩展特征血缘、统计信息与数据质量规则，为后续的自动化巡检提供数据基础。