📚 课程目录第3章 AWS存储层选型与治理

3. AWS存储层选型与治理

在AWS大规模数据管道中，S3几乎总是数据湖的默认落点，但“把文件丢进桶里”与“建成可治理的数据湖”是两件事。存储层选型的核心不是选一个服务，而是围绕分区结构、存储类别、生命周期、访问控制、数据组织规范五个维度建立可预期的行为：查询能裁剪、成本能下降、权限能收敛、数据能被找到且不被误删。

一、分区：决定查询成本的第一道闸

S3本身是对象存储，没有目录，但通过前缀模拟层级。分区键的选择直接决定下游Athena、Spark、Redshift Spectrum能裁剪多少数据。常见规范是s3://bucket/domain/table/dt=YYYY-MM-DD/hour=HH/，其中dt和hour采用Hive风格键值对，便于分区投影与自动识别。

分区不是越细越好。若单分区文件过小（例如每小时仅几MB），会产生大量小文件，元数据开销和请求成本上升；若分区过粗（例如仅按年），扫描量又无法收敛。经验上，单个分区内文件数控制在几十到几百，单文件128MB～512MB较均衡。对于迟到数据，应保留dt作为事件时间分区，而不是处理时间，否则回填会打乱分区语义。

分区设计检查：① 查询是否总带时间范围？② 是否有高基数维度（如userId）被误设为分区？高基数字段应作为文件内列，而非分区键。

二、存储类别与生命周期：让数据自动“降温”

S3提供多种存储类别，成本与取回特性差异明显。标准存储适合热数据；标准-IA适合低频访问但需毫秒取回；智能分层（Intelligent-Tiering）适合访问模式不可预测的数据，按对象自动在频繁/不频繁/归档层间移动；Glacier Instant Retrieval、Glacier Flexible Retrieval、Glacier Deep Archive则逐级降低存储单价、提高取回延迟与取回费用。

生命周期规则是治理自动化的关键。典型策略：原始数据写入后30天转标准-IA，90天转Glacier Instant Retrieval，365天转Deep Archive，730天过期删除；同时配置AbortIncompleteMultipartUpload在7天后清理未完成分片，避免隐性存储费用。对于智能分层，可开启自动分层并设置归档层阈值，但需注意监控与自动化费用。

三、访问控制：从“能访问”到“只能访问该访问的”

S3权限由IAM策略、桶策略、ACL、访问点（Access Point）共同决定。治理上应遵循：默认拒绝、最小权限、职责分离。具体做法包括：开启Block Public Access四选项；禁用ACL并统一用桶策略；对跨账户访问使用访问点而非直接开放桶；对敏感数据启用KMS加密并限制kms:Decrypt权限；开启版本控制防止误删与勒索。

一个常见的桶策略片段如下，限制仅允许指定角色从指定VPC端点读取curated/前缀：

{
  "Version": "2012-10-17",
  "Statement": [{
    "Sid": "AllowCuratedReadViaVPCE",
    "Effect": "Allow",
    "Principal": {"AWS": "arn:aws:iam::123456789012:role/DataAnalystRole"},
    "Action": ["s3:GetObject"],
    "Resource": "arn:aws:s3:::company-datalake-prod/curated/*",
    "Condition": {
      "StringEquals": {"aws:SourceVpce": "vpce-0abc123def456"}
    }
  }]
}

注意：桶策略与IAM策略是“交集”关系，任一侧未授权即拒绝。排障时先确认调用者身份、再查桶策略、最后看KMS密钥策略，顺序不能反。

四、数据组织规范：让数据湖可发现、可审计

规范应落到可检查的字段上。建议每个桶统一打标签：owner、cost-center、data-class（public/internal/confidential）、retention。前缀按raw/、curated/、analytics/、sandbox/分层，禁止在根目录直接写文件。文件命名采用{table}_{yyyyMMdd}_{HHmmss}_{part}.parquet，避免空格与中文。

配合Glue Data Catalog自动爬取分区，Athena查询时用MSCK REPAIR TABLE或分区投影同步新分区。对于频繁变更的维度表，使用curated/dim/并开启版本控制，便于回溯。

常见反模式：① 用处理时间做分区导致回填混乱；② 未配置未完成分片清理，产生隐性费用；③ 桶策略允许s3:*且资源为*；④ 小文件过多未合并，Athena扫描量虚高。

五、落地检查清单

维度	检查项	示例值/动作
分区	分区键是否为低基数、查询常用	dt, hour, region
存储类别	是否按访问频率分层	Standard → IA → Glacier IR
生命周期	是否配置转储与过期	30/90/365/730天
访问控制	是否关闭公共访问、启用KMS	Block Public Access = ON
组织规范	标签、前缀、命名是否统一	owner/cost-center/data-class

存储层治理不是一次性配置，而是随数据增长持续校准的过程。分区决定查询下限，生命周期决定成本上限，访问控制决定安全边界，组织规范决定协作效率。四者同时到位，S3才真正成为可治理的数据湖底座。