📚 课程目录第4章数据获取与预处理

4. 数据获取与预处理

卫星图像经济活动因子构建的第一步，不是建模，而是把“原始影像”变成“可信、可比、可计算”的栅格数据。原始 L1 级产品通常只完成辐射定标，仍包含大气散射、地形阴影、几何偏移、云污染和无效背景值。若跳过预处理直接提取特征，夜间灯光会被气溶胶放大，NDVI 会被云边缘拉低，建成区纹理会被几何错位破坏。因此，预处理质量直接决定因子的经济解释力。

本节目标：掌握影像下载、辐射定标、大气校正、几何校正、镶嵌裁剪与云掩膜六步流程，并能根据传感器类型选择正确的处理顺序与参数。

一、核心原理：为什么每一步都不能省

辐射定标把 DN 值转为表观辐亮度或表观反射率，解决“数值无物理量纲”的问题。大气校正进一步去除瑞利散射、气溶胶与邻边效应，得到地表反射率，使不同时间、不同区域的影像可比。几何校正消除传感器姿态、地球曲率和地形引起的定位误差，保证多期影像与行政边界、路网、POI 精确套合。云掩膜则剔除云、云阴影和卷云，避免虚假高值或低值污染统计。

六步之间存在依赖关系：辐射定标是大气校正的输入；大气校正在几何校正前做可减少重采样次数；云掩膜可在校正后利用波段阈值与 QA 波段联合判定。顺序错误会导致反射率失真或掩膜误判。

二、方法流程：六步操作与参数要点

影像下载：按研究区矢量、时间窗口和云量阈值检索。Landsat 用 USGS EarthExplorer，Sentinel-2 用 Copernicus Open Access Hub 或 GEE。下载时保留 QA 波段与元数据。
辐射定标：Landsat 8/9 使用 MTL 中的 RADIANCE_MULT_BAND 与 RADIANCE_ADD_BAND；Sentinel-2 使用 L1C 的量化值与偏移。输出辐亮度或表观反射率。
大气校正：常用 6S、FLAASH、Sen2Cor 或 GEE 的 surface_reflectance。输入需包含太阳天顶角、观测天顶角、气溶胶光学厚度。
几何校正：L1T 产品已做系统校正，但山区或高精度需求仍需正射校正与影像间配准。控制点应均匀分布，避免集中在平坦区。
云掩膜：优先使用 QA_PIXEL、SCL 或 cloud probability 波段；无 QA 时用蓝光与 cirrus 波段阈值辅助。
镶嵌裁剪：按研究区边界裁剪，统一投影与像元大小；镶嵌时按时间或云量排序，避免接边色差。

# 以 GDAL 为例：辐射定标与裁剪
gdal_translate -scale 0 65535 0 1 -ot Float32 B4.tif B4_ref.tif
gdalwarp -t_srs EPSG:32650 -tr 10 10 -r bilinear B4_ref.tif B4_utm.tif
gdalwarp -cutline study_area.shp -crop_to_cutline B4_utm.tif B4_clip.tif

# 云掩膜：利用 QA_PIXEL 第 3、4 位
python -c "import rasterio,numpy as np; q=rasterio.open('QA_PIXEL.tif').read(1); mask=((q>>3)&1)|((q>>4)&1); print(mask.mean())"

三、案例场景：长三角夜间灯光与建成区因子

以长三角某市 2023 年 Landsat 8 与 NPP-VIIRS 夜间灯光为例。先下载 6—9 月云量低于 10% 的影像，完成辐射定标与 FLAASH 大气校正，得到地表反射率。几何校正以 2020 年正射影像为基准，控制点 30 个，RMSE 控制在 0.4 像元。云掩膜后有效像元比例从 72% 提升到 91%。最后按行政区裁剪并重采样至 500 m，与夜间灯光、路网密度、POI 核密度做相关性分析。结果显示，经过大气校正的 NDVI 与夜间灯光相关性提高约 0.12，云掩膜后建成区提取的漏分率下降 8%。

步骤	输入	关键参数	输出	常见工具
影像下载	矢量边界、时间	云量≤10%、季节一致	L1 影像与元数据	EarthExplorer、GEE
辐射定标	DN、增益偏移	RADIANCE_MULT/ADD	辐亮度/表观反射率	GDAL、ENVI
大气校正	表观反射率、几何	气溶胶、太阳角	地表反射率	6S、FLAASH、Sen2Cor
几何校正	影像、基准图	控制点≥20、RMSE≤0.5	正射/配准影像	ArcGIS、QGIS
云掩膜	QA/SCL 波段	云、云阴影、卷云	有效像元掩膜	Python、GEE
镶嵌裁剪	多景影像、边界	投影、分辨率、接边	研究区栅格	GDAL、Mosaic

四、误区与复盘

误区一：跳过大气校正直接算 NDVI。表观反射率受气溶胶影响，城市高污染日 NDVI 可能被低估 0.05—0.15，导致绿地因子失真。
误区二：云掩膜只去厚云。云阴影和卷云同样污染反射率，必须联合 QA 与 cirrus 波段。
误区三：几何校正控制点集中在城区。郊区与山区误差被掩盖，后续路网匹配和格网统计会出现系统性偏移。

复盘建议：建立预处理日志，记录每景影像的定标参数、大气校正模型、控制点数量与 RMSE、云掩膜有效比例。对有效比例低于 60% 的影像直接剔除，避免后续因子被少量像元主导。所有输出统一为 EPSG:32650、10 m 或 500 m 分辨率，并保留原始波段与 QA 波段，便于复现与审计。

完成以上六步后，你得到的不是“一张好看的图”，而是一套具有物理量纲、空间一致、云污染可控的栅格底图。它将成为后续植被指数、建成区指数、夜间灯光校正和经济活动因子构建的可靠输入。