3. 数据创建与摄入阶段

3.1 数据生成源头

数据生成源头决定了数据的格式、频率、体量以及合规要求。常见的数据源类型包括：

数据源类型	典型示例	数据特征	存储挑战
物联网设备	传感器、智能电表、车载终端	高频、小包、时序性强	写入吞吐量高，需时序数据库优化
业务系统	ERP、CRM、电商订单	结构化、事务性、一致性要求高	需ACID保障，存储扩容需在线
用户生成内容	图片、视频、文档、评论	非结构化、大小差异大、访问模式多样	对象存储与CDN分发策略
日志与监控	系统日志、应用追踪、审计日志	持续追加、冷热分明、合规保留	海量小文件合并、生命周期策略
外部数据源	第三方API、爬虫数据、数据湖导入	格式多样、时效性不确定	Schema演化、数据质量校验

3.2 数据采集策略

根据数据源特征与业务需求，数据采集策略可分为以下三种模式：

3.3 初始存储分配与限制

数据摄入后，系统需要立即为其分配初始存储资源并施加限制策略，防止单个数据源或租户耗尽集群资源。以下是核心分配与限制维度：

3.3.1 容量配额管理

配额维度	说明	推荐初始值	超限处理
总容量上限	每个数据源/租户的最大存储空间	100GB ~ 10TB（按业务评估）	写入拒绝 / 触发归档
每日增量上限	单日允许摄入的数据量	总容量的1% ~ 5%	降级为批量写入
对象数量上限	文件/对象个数限制（针对小文件场景）	100万 ~ 1亿	合并小文件后写入
请求速率限制	每秒写入请求数（IOPS）	1000 ~ 10000	请求排队 / 返回429

3.3.2 性能分层分配

根据数据访问热度，初始存储应分配在不同性能层：

• 热数据层（SSD/NVMe）： 最近7天的活跃数据，延迟要求 < 5ms，分配总容量的20%
• 温数据层（HDD/SATA）： 7~90天的数据，延迟要求 < 50ms，分配总容量的50%
• 冷数据层（对象存储/磁带）： 90天以上的数据，延迟容忍 > 1s，分配总容量的30%

3.3.3 初始限制策略配置示例

以下是一个基于YAML的初始存储限制策略配置示例，适用于对象存储与文件系统：

# 数据摄入存储限制策略配置
version: "1.0"
tenant: "data_pipeline_01"

storage_limits:
  total_capacity: "1TB"
  daily_ingest_limit: "50GB"
  max_object_count: 5000000
  max_object_size: "5GB"
  min_object_size: "1KB"  # 防止小文件泛滥

rate_limits:
  write_iops: 5000
  write_throughput: "200MB/s"
  burst_iops: 10000
  burst_duration_seconds: 60

lifecycle_policy:
  hot_tier:
    duration_days: 7
    storage_class: "SSD"
    quota: "200GB"
  warm_tier:
    duration_days: 90
    storage_class: "HDD"
    quota: "500GB"
  cold_tier:
    duration_days: 365
    storage_class: "GLACIER"
    quota: "300GB"

compliance:
  encryption: "AES-256"
  retention_min_days: 30
  audit_logging: true

3.3.4 初始分配的最佳实践

1. 预留缓冲空间： 初始分配时保留20%的余量，应对突发流量与数据增长
2. 设置软硬限制： 软限制触发告警（如容量达80%），硬限制强制执行拒绝写入
3. 自动化扩缩容： 结合监控指标，当使用率持续超过阈值时自动调整配额
4. 数据分类标记： 在摄入时为数据打上标签（如数据源、敏感等级、保留策略），便于后续生命周期管理
5. 定期审计与优化： 每月审查初始分配策略，根据实际使用模式调整配额与分层比例