4. 数据写入基础：四种模式详解

Delta Lake 的写入模式，说白了就是告诉引擎：「数据来了，你该怎么处理？」。我刚开始接触时也觉得不就是写数据嘛，但实际项目中踩过坑之后才发现，选错模式轻则数据重复，重则历史被覆盖。今天咱们就把 Append、Overwrite、Ignore、ErrorIfExists 这四种模式彻底聊透。

4.1 Append 模式：最常用的追加写入

Append 是 Delta Lake 的默认模式。它的逻辑很简单：不管目标表有没有数据，新数据直接追加到后面。我最早用 Delta Lake 做日志采集时，每天跑的就是 Append 模式——昨天的数据不动，今天的数据加在后面。

# Append 模式示例
df.write \
  .mode("append") \
  .format("delta") \
  .save("/data/events")

# 或者用 Scala
df.write
  .mode(SaveMode.Append)
  .format("delta")
  .save("/data/events")

4.2 Overwrite 模式：全量覆盖，谨慎使用

Overwrite 会删除目标路径的所有现有数据，然后用新数据替换。说白了就是「先清空，再写入」。我在做全量快照表时经常用它——比如每天凌晨跑一次全量用户画像，旧数据不要了，直接覆盖。

# Overwrite 模式示例
df.write \
  .mode("overwrite") \
  .format("delta") \
  .save("/data/user_profile")

# 也可以配合 replaceWhere 做部分覆盖
df.write \
  .mode("overwrite") \
  .format("delta") \
  .option("replaceWhere", "dt = '2024-01-15'") \
  .save("/data/user_profile")

4.3 Ignore 模式：存在即跳过

Ignore 模式的意思是：如果目标路径已经有数据了，那这次写入就静默跳过，什么都不做。你想想看，这适合什么场景？——初始化表结构的时候。比如你的 ETL 脚本每天启动时都会尝试创建一张表，但表已经存在了，用 Ignore 就不会报错。

# Ignore 模式示例
df.write \
  .mode("ignore") \
  .format("delta") \
  .save("/data/dim_date")

# 等价于：如果 /data/dim_date 已存在，直接跳过

4.4 ErrorIfExists 模式：最保守的模式

ErrorIfExists 是 Delta Lake 的默认安全模式。如果目标路径已经存在数据，它会直接抛出异常，拒绝写入。说白了就是「宁可报错，也不乱写」。我在做数据管道测试时特别喜欢用这个模式——它能帮我尽早发现「是不是有人忘了删测试数据」。

# ErrorIfExists 模式示例
df.write \
  .mode("errorifexists") \
  .format("delta") \
  .save("/data/test_result")

# 如果 /data/test_result 已存在，会抛出：
# org.apache.spark.sql.AnalysisException: 
#   path /data/test_result already exists

4.5 四种模式对比一览

模式	目标不存在	目标已存在	典型场景	风险等级
Append	创建并写入	追加写入	日志、事件流、增量采集	低
Overwrite	创建并写入	删除全部后写入	全量快照、数据重刷	高
Ignore	创建并写入	静默跳过	初始化脚本、幂等写入	中
ErrorIfExists	创建并写入	抛出异常	测试环境、数据保护	低（但会中断任务）

4.6 实战中的选择策略

说了这么多，到底该怎么选？我总结了一个简单的判断逻辑：

• 数据只增不减 → Append。比如埋点日志、订单流水。
• 数据需要全量刷新 → Overwrite。比如每日用户画像、商品快照。
• 只想初始化一次 → Ignore。比如维表首次创建。
• 不确定目标是否存在 → ErrorIfExists。比如开发调试阶段。

4.7 一个完整的写入示例

最后，给你看一个我在项目中实际用过的写入逻辑。它结合了 Overwrite 和 Append，按天分区处理：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("delta_write_demo") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

# 模拟数据
data = [("user_001", "click", "2024-01-15"),
        ("user_002", "view", "2024-01-15")]
df = spark.createDataFrame(data, ["user_id", "action", "dt"])

# 全量历史表用 Append
df.write \
  .mode("append") \
  .format("delta") \
  .partitionBy("dt") \
  .save("/data/user_actions_history")

# 当日快照表用 Overwrite
df.write \
  .mode("overwrite") \
  .format("delta") \
  .option("replaceWhere", "dt = '2024-01-15'") \
  .save("/data/user_actions_daily")