第二届高分对地观测比赛水体赛道-实现方案分享
本文最后更新于 2026年3月26日 中午
如何实现星地准同步观测的统一

基于 AutoGluon 的湖泊悬浮物浓度反演
潭城细雨1,2
- 湖南科技大学地球科学与空间信息工程学院,湖南湘潭 411201
- 湖南省岳阳生态环境监测中心,湖南岳阳 414000
摘 要:悬浮物浓度精准且快速的反演是湖泊水体水质监测的关键。以华中五湖为例,首先采用 5 种不同的大气校正模型对 GF1_WFV 影像进行大气校正,并结合湖泊实测水体光谱数据,确定最佳大气校正模型;然后利用 AutoGluon 机器学习框架,通过构建窄波段反射率波段与水体悬浮物浓度之间的估算关系,并应用于悬浮物浓度的遥感反演。研究结果表明:
- 在独立的默认参数设置下,5 种大气校正模型均可在一定程度上去除大气影响,其中 ACOLITE 模型综合性能最优,QUAC 和 FLAASH 模型次之,DT 模型效果最差;
- AutoGluon 智能框架中的堆叠与集成策略在水体悬浮物浓度的反演中取得了显著成效。在验证集和测试集上,该策略均实现了较高的准确率。其中,测试集的检验准确度 R² 为 0.97,RMSE 为 3.54 mg/L。
关键词:大气校正,窄波段转换,自动机器学习,悬浮物浓度,高分一号
1 研究背景
湖泊是生态系统中的关键组成部分,它不仅为人类提供宝贵的淡水资源,还是生物多样性的重要栖息地,同时提供洪水控制、水质净化等生态服务,并可以作为环境变化的敏感指示器[1]。悬浮物作为水色三要素之一[17],其浓度是评估湖泊水质和生态健康的关键指标。悬浮物是指在水体中悬浮的固体颗粒物质,这些颗粒物质的粒径通常在几微米到几十微米之间,它们因为重力作用不足以使其迅速沉降到水底,而是在水中保持悬浮状态[18]。这些悬浮颗粒物的主要成分是悬浮泥沙。悬浮物的来源可以分为自然来源和人为来源,前者包括水土流失、河流输入等,后者则多来自农业径流、工业排放和城市生活污水等。悬浮物影响水体的透明度,进而影响水下植物的光合作用,直接关系到水生生物的生长环境及人类饮用水的安全[12]。因此,精准监测湖泊中的悬浮物浓度,对于水环境的管理和保护具有重要意义。
2 国内外研究进展
悬浮物浓度的精确反演并非易事,悬浮物颗粒的变化会导致水体的吸收和散射特性发生变化,进而影响水体的反射率,尤其是在复杂水域中,悬浮物与其他光学组分的相互作用常常使得反演结果不易准确预测[11]。高光谱数据以其精细化的光谱通道分布,能敏感捕捉由悬浮物浓度变化引起的水体反射率的微小差异,为悬浮物浓度的遥感反演提供了丰富的信息[19]。遥感技术为大范围水质监测提供了可能,但其反演精度仍受到多种因素的限制[23]。通过结合实测光谱数据的高精度与遥感影像数据的大范围覆盖优势,这一策略已成为提高水体悬浮物浓度反演精度的有效途径[13]。
由于光谱分辨率、空间分辨率、大气效应等因素的影响,使得野外实验中所获取的地面实测高光谱数据与卫星影像中的光谱数据之间存在一定的差异。一般地,实测光谱可通过光谱重采样的方法,将目标反射率数据拟合到卫星光谱响应函数某一波段宽度的地表真实反射率。对于卫星影像,可以通过大气校正降低大气影响,从而得到逼近地物目标真实的反射率,实现目标星地准同步观测的统一[6]。
大气校正对于剔除遥感影像中的大气干扰、获取准确的地表反射率至关重要。它能显著降低大气散射和吸收对水面反射率和离水辐射的影响,确保遥感影像数据的校正能够与实测光谱数据保持一致[16]。然而,不同的大气校正模型对反演结果的影响各异,模型在适用性和准确性上的差异可能会导致卫星数据产品存在显著的不确定性。因此,选择恰当的大气校正方法对于有效降低水体光谱数据的不确定性至关重要[22]。
近年来,机器学习在遥感领域的应用日益广泛。通过分析、学习和训练样本数据间的内在联系,可构建高精度的反演模型,并有效避免物理模型中复杂的处理流程。在基于机器学习的遥感反演过程中,模型致力于学习特征变量与目标变量之间的相关性,进而构建出预测模型。这一过程并不完全依赖于数据的绝对精确,而是更加侧重于模型对这种关系的学习和模拟能力。因此,机器学习模型能够在一定程度上缓解由遥感数据预处理(包括几何校正、辐射校正、大气校正等)不完全所引起的不确定性[21]。
本研究利用不同的大气校正模型对遥感影像进行处理,并选择最优校正结果用于后续悬浮物浓度反演,以降低大气干扰对反演不确定的影响。同时,将 1nm 间隔的实测反射率数据转换为等效的遥感窄波段反射率,结合机器学习算法构建悬浮物浓度的反演模型,以提高其反演精度和稳定性,为水体生态环境的监测和评估提供可靠支持。
3 总体研究思路
本研究的总体思路如图 1 所示。通过结合大气校正技术与机器学习方法,实现对湖泊水体悬浮物浓度的精准遥感反演。首先采用五种大气校正模型对 GF1_WFV 影像进行处理,并通过与湖泊实测光谱数据的对比,确定最佳大气校正模型。然后利用 AutoGluon 机器学习框架,建立反射率波段与水体悬浮物浓度之间的估算关系,实现悬浮物浓度的反演。

图 1 AutoGluon
智能框架下水体悬浮物浓度的反演
Fig 1 Retrieval of
TSM under AutoGluon intelligent framework
4 算法模型
4.1 大气校正模型
大气校正的目的,是消除大气分子(如水蒸气、氧气、二氧化碳、甲烷、臭氧等)和气溶胶散射的影响,获得大气参数和地表生物物理参数如地表反射率等[10]。由于遥感影像受大气程辐射和地面邻边效应辐射的影响,需对影像进行大气校正。大气校正的基本原理主要是通过补偿大气散射、吸收以及表面反射(例如天空光或太阳光反射)来从卫星测量的大气顶层(Top Of Atmosphere, TOA)反射率中恢复出地表(水体)反射率。在水体遥感中,准确的水体反射率是获取其他下游科学产品(如水体中的叶绿素浓度和总悬浮固体浓度)所必需的。在实际应用中,大气校正的目标是消除由于大气中气体分子和气溶胶的散射与吸收,以及天空光和地表反射等因素导致的误差。通过这些过程,卫星获取的 TOA 反射率 \(\rho_t(\lambda)\) 可以使用下式[14]表示:
\[ \rho_t(\lambda)=t\hat{\rho}_w(\lambda)+[\rho_r(\lambda)+\rho_a(\lambda)+\rho_{ar}(\lambda)] \tag{1} \]
式中,\(t\) 表示漫透射率,\(\rho_r(\lambda)\) 表示无气溶胶干扰的瑞利反射率,\(\rho_a(\lambda)\) 为气溶胶反射率,\(\rho_{ar}(\lambda)\) 表示瑞利-气溶胶多重散射产生的辐射量。根据采用的大气校正方法,括号内三项既可整体视为路径反射率 \(\rho_{path}(\lambda)\) 进行处理,也可对瑞利散射项与气溶胶项分别估算。\(t\) 的计算需综合考虑空气分子、气体分子以及气溶胶的透射特性。在各未知分量中,气溶胶贡献量的估算最具挑战性,微小误差就可能导致 \(\hat{\rho}_w(\lambda)\) 反演结果出现显著不确定性。当前主要有三种方法获取气溶胶参数:一是基于影像反演平均气溶胶厚度,二是使用 MODIS 气溶胶产品,三是使用实测气溶胶参数[9]。
本研究使用五种不同的大气校正模型分别对 GF1_WFV 数据进行大气校正,包括 6S[7]、ACOLITE[20]、FLAASH[4]、QUAC[2]、DT[15]。为了后续不同研究人员之间更好的复现和对比,在没有更多先验知识的情况下,模型全部以各自默认参数设置进行大气校正。模型及其描述见表 1。
表 1 遥感大气校正模型的描述
Table 1
Simple description of atmospheric correction model for remote sensing
| 模型 | 主要描述 |
|---|---|
| 6S | 6S 用于大气校正算法中的查找表计算。它能准确模拟卫星和飞机观测,并考虑高海拔目标、非朗伯面和气体吸收的计算。 |
| ACOLITE | ACOLITE 是用于内陆、沿海和过渡水域大气校正和处理的通用处理器。默认使用”暗光谱拟合”方法进行大气校正,也可以使用”指数外推”方法进行大气校正。 |
| FLAASH | FLAASH 采用了 MODTRAN 辐射传输模型来补偿大气效应。利用图像数据与大气特性,以物理方法精确推算地表反射率,并在计算过程中考虑了邻边效应的影响,同时能够校正倾斜观测导致的误差。 |
| QUAC | QUAC 方法基于图像的光谱特征,通过分析影像的光谱信息来估算大气效应。该方法利用影像的自校准特性,不依赖于地面反射率标准或地面测量数据,适用于多种类型的遥感数据,尤其在缺乏地面真值数据的情况下,能够实现高效的校正。 |
| DT | DT 通过选取图像中反射率较低的像元(如水体或阴影区域)作为暗像元,假设这些区域在无大气影响下反射率接近零。通过该方法估算大气气溶胶的光学厚度,并修正大气效应。 |
需要注意的是,并非所有大气校正模型都能直接输出地表反射率产品。6S、FLAASH、QUAC、DT 等模型会直接输出大气底层的地表反射率;而 ACOLITE 则输出遥感反射率。这种情况下,需要将大气校正后的遥感反射率乘以 π ,转换为地表反射率,使得不同大气校正模型的结果在同一物理量下更易于相互比对。
4.2 机器学习框架
AutoGluon 是一个由 Amazon Web Services(AWS) 开发的开源自动机器学习框架。具有自动优化机器学习模型的能力,包括数据预处理、模型架构搜索、超参数调整等[5]。在机器学习中,模型集成是一种常用的策略,通过结合多个模型的预测结果,能够显著提高最终预测的准确性,并减少方差。传统堆叠方法(Stacking)通过使用基础模型的聚合预测来训练一个堆叠器模型,进而改善个体模型的缺陷并利用模型之间的优势。与传统方法不同的是,AutoGluon 引入了一种新颖的多层堆叠集成方法(图 2),AutoGluon 在堆叠层中使用与基础层相同的模型类型,同时将原始数据特征与模型预测结果结合作为输入。最终,AutoGluon 采用集成选择来聚合堆叠器模型的预测结果,以进一步提高预测的准确性和稳定性。
图 2 AutoGluon 多层堆叠
Fig 2
AutoGluon multilayer stack
用户加载数据后,AutoGluon 会根据数据结构自动判断所属任务为分类、回归或者时间序列等,悬浮物浓度反演在AutoGluon框架中属于回归任务。在数据预处理过程中,AutoGluon 会使用专用逻辑来自动进行处理,例如训练与验证数据的划分、缺失值插补、独热编码等操作。接下来,调用 “fit” 函数开始训练模型。默认情况下,AutoGluon 会尝试拟合各种类型的模型,包括神经网络、树集成、随机森林、LightGBM、XGBoost、CatBoost等,每种模型都有各种超参数。AutoGluon 在训练的过程会自动进行 k 折交叉和模型堆叠,自动迭代测试超参数的值,以在验证数据上产生最佳性能。训练完成后,使用测试集对模型进行评估,并将该模型应用于新数据进行推理。
4.3 开发环境
本研究的开发环境包括个人电脑和服务器。个人电脑操作系统为 Windows 10,运行 ENVI 5.6 软件,用于 FLAASH 和 QUAC 方法;服务器操作系统为 Ubuntu 22.04.4 LTS,配置 2 * Tesla V100 GPU(CUDA 12.2)、144 核 Intel Xeon Gold 5220 CPU(4 个 NUMA 节点),主要用于运行 6S、ACOLITE 和 AutoGluon 模型训练。所有环境均通过 Conda 管理,6S 环境基于 Python 3.12.1;ACOLITE 依赖 pyresample、gdal 等工具;AutoGluon 环境(版本 1.1.1)基于 Python 3.10.14,集成了 numpy、torch、transformers 等机器学习与深度学习库,支持多任务高效运行。
5 结果与精度评价
5.1 最佳大气校正模型
5.1.1 校正结果与精度分析
将大气校正后影像上同名点的反射率与地面实测光谱数据进行匹配,散点图如图 3 所示。为了进一步量化分析,还计算了相关统计指标来量化校正结果。这些统计指标包括决定系数 R2、平均绝对百分比差异 ψ、均方根误差 RMSD 和平均相对差异 δ ;同时还计算了斜率和截距来表示数据的一般趋势。当截距接近 0 且斜率接近 1 时,通常意味着数据间具有良好的拟合度。上述具体指标统计如表 2 所示。
图 3
大气校正后影像各波段上的水体反射率与观测值之间的散点对比
Fig
3 Scatter plot comparison between water reflectance on each
band after atmospheric correction and the observed values
由图 3 可知,五种模型校正后的结果均存在不同程度的高估。ACOLITE 的结果较为紧凑,6S、DT、FLAASH、QUAC 的结果较为发散。表现最好的是 ACOLITE,大部分波段的反射率值落在 1:1 线附近,表明其校正效果与实测值非常接近。QUAC 校正结果虽然高估,但相较除 ACOLITE 以外的其它模型,各个波段的偏离程度较为一致,整体表现优于其他模型。 DT 算法整体表现相对较差,部分波段校正结果偏高。
表 2
大气校正后影像各波段上的水体反射率与观测值之间的统计对比(略)
Table
2 Statistical comparison between water reflectance on each band
after atmospheric correction and the observed values(omitted)
| 模型 | 波段 | R2 | Ψ | RMSD | δ | 斜率 | 截距 |
|---|---|---|---|---|---|---|---|
| 6S | B1 | ||||||
| ACOLITE | B1 | ||||||
| DT | B1 | ||||||
| FLAASH | B1 | ||||||
| QUAC | B1 |
表 2 显示,40% 的波段校正后的反射率值与实测反射率值的决定系数 R² 大于 0.69,55% 的波段校正后平均绝对百分比差异小于 50,50% 的波段均方根误差小于 0.01,55% 的波段平均相对差异偏离在 0.5 以内,25% 的波段斜率偏离在 0.2 以内,65% 的波段截距偏离在 0.005 以内。这些指标的占比表明,大多数大气校正模型能有效减少大气的影响,且在多数波段上,模型成功地提高了水体反射率的精度。
从各模型的表现来看,ACOLITE 在所有波段的校正效果表现较好。除 B1 波段外,ACOLITE 的决定系数 R² 均大于 xxx,且波段的平均绝对百分比差异(xxx 至 xxx 之间)和均方根误差(xxx 至 xxx 之间)均优于其他模型。尽管 B1 波段的决定系数较低,其他波段表现突出,显示出 ACOLITE 在大多数波段的优势。QUAC 在除 ACOLITE 外的其他模型中,决定系数较高。QUAC 的各波段平均绝对百分比差异(xxx 至 xxx 之间)和均方根误差(xxx 至 xxx 之间)均相对较小,表现较为稳定。FLAASH 的决定系数相比 6S 和 DT 略高,但其在平均绝对百分比差异和均方根误差上的表现相对较差。DT 的决定系数在 xxx 至 xxx 之间,波段的平均绝对百分比差异(xxx 至 xxx 之间)和均方根误差(xxx 至 xxx 之间)较高,表明 DT 在精度方面表现不如 ACOLITE 和 QUAC。
综上所述,ACOLITE 模型在大多数波段的校正效果最为突出,特别是在提高反射率准确度方面。然而,尽管 ACOLITE 相较于其他模型效果较好,但与实测值之间仍有差距。具体来说,B1 波段的决定系数值低于 0.3,部分波段的平均绝对百分比差异超过 20,斜率偏离值超过 0.1。这表明,尽管 ACOLITE 的校正效果领先,但在精确度和趋势一致性方面仍有提升空间。
5.1.2 光谱相似度
为了比较实测光谱与经过大气校正后影像上光谱的形状,使用光谱角 \(\theta\) 作为相似度指标来表示每条实测光谱与影像上匹配的同名点光谱的吻合程度。该角度范围从 0° 到 180°,角度越小意味着光谱形状越相似[8]。光谱角 \(\theta\) 的计算公式为:
\[ \theta=\cos^{-1}\left(\frac{\langle x\cdot y\rangle}{\|x\|\cdot\|y\|}\right) \tag{2} \]
其中,\(x\) 和 \(y\) 分别表示影像光谱向量与实测光谱向量。5种大气校正算法校正后的光谱角箱型图如图 4所示,其光谱角度的相似度可以描述整体波段的吻合情况。
图 4 水体反演反射率与观测值之间的光谱角
Fig
4 Spectral angle between retrieved reflectance and observation
of water body
图 4 的箱型图直观地显示出每一组对比数据光谱角度的最大值、最小值、中位数、离群值、以及上下四分位数 IQR(interquartile range)等信息,尤其关注中位数和上下四分位间距的大小。中位数越小说明与实测光谱形状相似的样本点越多,上下四分位间距越小,说明与实测光谱形状相似的样本点越集中,整体上光谱数据的变化越一致。从图 4 可以看到所有模型校正后光谱角度都在 45° 以下,中值都小于 28°。其中,ACOLITE 的中值最低(5.6°),四分位间距(IQR = 4.4°)最小。DT 具有最大的中值(26.1°)和最宽的四分位间距(IQR = 8.1°)。QUAC 具有较大的四分位间距(IQR = 5.5°)和较低的中值(8.9°)。而 6S 和 FLAASH 的四分位间距均为 4.5°,中值也较为接近。其中 ACOLITE 的光谱相似度是最高的,但是也存在 6 个离群点,这是因为 B1 波段的部分数据校正不完全导致的。
通过综合比较各大气校正模型性能,ACOLITE表现出最优秀的大气校正效果,它的校正结果与实测反射率最为接近,并且光谱角度也与实测值的相似度较高。与其他大气校正模型相比,ACOLITE具有操作简单、部署快捷的优势,并且无需输入复杂的参数即可获得较高精度的结果。在同质水体下可以优先考虑使用。
5.2 AutoGluon 训练与验证
将转换后的实测光谱数据和悬浮物浓度作为输入构建反演模型。AutoGluon在训练过程中会自动划分训练集与验证集并进行k折交叉验证。本文研究中数据划分比例为76:9,其中测试集是基于采样时间进行分层随机抽样得到的。在AutoGluon完成训练之后,调用“evaluate”函数评估模型在测试数据上的表现。
图 5
测试集上的悬浮物浓度值与观测值的对比
Fig 5
Comparison of suspended solids concentration values on the test set with
observed values
测试集在模型上悬浮物浓度的推理结果与观测值之间的散点聚集如图 5。测试集上的预测悬浮物浓度值与观测值具有极高的相关性(R² = 0.97,Pearson R = 0.99),误差指标(RMSE = 3.54,MAE = 2.72,MEDAE = 1.18)表明模型预测精度较高,且受极端值影响较小。散点图显示预测值与观测值的趋势高度一致,大多数点分布在 1:1 对角线附近,但在高浓度区域略有偏差。这说明模型对低至中等浓度的悬浮物预测效果出色,但在高浓度范围内可能需要进一步优化以提高准确性。
为充分利用全部训练数据,使用复赛新提供的实测光谱数据加入训练,共计 128 条数据进行全量训练。表 3 为训练排行榜,仅列出排名前二十的模型。最终的集成模型 WeightedEnsemble_L3 是由不同参数配置下训练的子模型加权得到的,具体权重 ‘model_weights’: {‘NeuralNetFastAI_r134_BAG_L2’: 0.27, ‘NeuralNetTorch_r87_BAG_L2’: 0.73}。AutoGluon 中的 NeuralNetTorch 模型在悬浮物反演任务中表现优异的原因主要包括:强大的非线性建模能力、灵活的网络架构、对特征的嵌入处理等。这些因素共同作用,使其在特定任务中能够超越其他模型。但模型的最终表现仍取决于数据集的特性与任务需求。
表 3 模型排行榜(前 20)
Table 3
Model Leaderboard (Top 20)
| model | score_val | pred_time_val | fit_time | stack_level |
|---|---|---|---|---|
| WeightedEnsemble_L3 | ||||
| NeuralNetTorch_r87_BAG_L2 | ||||
| NeuralNetTorch_r41_BAG_L2 | ||||
| NeuralNetTorch_r143_BAG_L2 | ||||
| NeuralNetTorch_r1_BAG_L2 | ||||
| NeuralNetTorch_r76_BAG_L2 | ||||
| NeuralNetTorch_r185_BAG_L2 | ||||
| NeuralNetTorch_r89_BAG_L2 | ||||
| NeuralNetTorch_r19_BAG_L2 | ||||
| NeuralNetFastAI_r134_BAG_L2 | ||||
| NeuralNetFastAI_r95_BAG_L2 | ||||
| NeuralNetFastAI_r103_BAG_L2 | ||||
| NeuralNetTorch_r31_BAG_L2 | ||||
| NeuralNetTorch_r22_BAG_L2 | ||||
| NeuralNetTorch_r71_BAG_L2 | ||||
| NeuralNetTorch_r121_BAG_L2 | ||||
| NeuralNetTorch_r30_BAG_L2 | ||||
| NeuralNetFastAI_r37_BAG_L2 | ||||
| NeuralNetTorch_r135_BAG_L2 | ||||
| NeuralNetFastAI_r191_BAG_L2 |
使用SHAP(一种模型事后解释方法)来解释影响悬浮物反演的特征波段情况。图 6展示了不同光谱波段特征对预测水体悬浮物浓度的SHAP分布。SHAP值表示特征对模型预测的影响程度和方向。结果表明,B4波段具有最强影响力,其特征对应显著的预测贡献。
图 6 SHAP 值分布图
Fig 6 SHAP Value
Distribution Plot
5.3 悬浮物浓度的遥感反演
使用前文比较得到的最佳大气校正模型ACOLITE对影像进行处理,ACOLITE会自动掩膜非水体区域、云层覆盖区域以及高顶层大气反射率的异常像元,提取纯净水体的光谱信息。将ACOLITE大气校正后的GF1_WFV影像应用到前文使用全部数据训练得到的集成模型WeightedEnsemble_L3上,进行悬浮物浓度的遥感反演。反演结果如图 7所示。
图 7 反演的悬浮物浓度图
Fig 7
Inverse suspended solids concentration map
从悬浮物浓度反演结果图可以看出,各湖泊的悬浮物浓度分布存在明显的空间和时间差异。空间上,湖岸区域的浓度普遍高于湖中心,可能与岸边泥沙再悬浮和人类活动影响有关,而湖中心的低浓度则反映了沉降作用的显著性。时间上,不同季节的浓度变化特征明显,表现为季节性输入和水动力条件的变化对悬浮物分布的影响较大。湖泊之间,巢湖和高邮湖的浓度整体高于其他湖泊,局部区域浓度较高,可能与流域泥沙输入量和人类活动强度较大有关,而南漪湖的浓度较低且分布相对均匀,显示其受外界输入影响较小。此外,部分湖泊的局部区域出现浓度异常高的现象,可能与特定时段的大量物质输入或异常水动力条件有关。这些分布规律反映了湖泊的泥沙输入、沉降及人类活动的综合作用。
为了进一步探索大气校正对遥感反演的影响,本文计算了决定系数 R2、平均绝对百分比误差 MAPE、中值对称精度 MdSA(Median Symmetric Accuracy)等统计指标来量化 ACOLITE 的大气校正结果。其中 MdSA 的计算公式如下:
\[ \begin{aligned} Y=\mathrm{Median}\left|\log_{10}\left(\frac{\hat{\rho}_w(\lambda_i)}{\rho_w(\lambda_i)}\right)\right| \\ \mathrm{MdSA}=100\times(10^Y-1)\,[\%] \end{aligned} \tag{3} \]
式中,\(\lambda_i\) 表示第 \(i\) 个光谱波段,Median 为中值运算符,\(\hat{\rho}_w(\lambda_i)\) 表示大气校正后的反射率,\(\rho_w(\lambda_i)\) 表示实测反射率,\(Y\) 为对数比值绝对值的中位数,MdSA 表示中值对称精度。具体结果见表 4。
表 4 ACOLITE 大气校正精度
Table 4
Atmospheric Correction Accuracy of ACOLITE
| 波段 | R2 | MAPE | MdSA |
|---|---|---|---|
| B1 | |||
| B2 | |||
| B3 | |||
| B4 |
全球气候观测系统 GCOS(Global Climate Observing System)对基本气候变量 ECV(Essential Climate Variable)产品中的湖泊观测提出了明确要求。具体而言,湖泊水体反射率的不确定性需满足中值对称精度(MdSA)低于 30% 的标准[14]。
ACOLITE 进行大气校正时能够从 NASA 自动下载辅助数据以获取所需的参数(臭氧、水蒸气、气压和风速等),并通过 DSF 估算气溶胶光学厚度 AOT(Aerosol Optical Thickness),具有较高的自动化水平,便于大规模处理。然而,根据表 4 的结果,即使是在相同生产环境下,由于传感器差异、影像质量、辅助数据受限等因素的影响,大气校正后部分波段仍难以满足 GCOS 的要求。
大气校正对比试验 ACIX(Atmospheric Correction Inter-Comparison Exercise)是一项国际倡议,旨在分析各种最先进大气校正处理器的表面反射率产品。ACIX 研究显示,针对内陆水体,即使是最佳性能的大气校正模型(如 ACOLITE 和 iCOR),在可见光波段(490~743 nm)也难以避免引入反射率 20~30% 的不确定性。这种不确定性还会进一步影响到下游产品,比如会导致叶绿素 a 浓度和总悬浮物浓度 25~70% 的不确定性[14]。如果要减少大气校正对下游产品的影响,关键波段的 MdSA 应尽量控制在 10% 以内[3]。
提高大气校正的精度是提高反演精度的有效途径。气溶胶模型在大气校正过程中起着关键作用,目前的气溶胶模型在准确性或适用性方面可能还存在不足,需要更多的研究来提高它们在各种环境和条件下的表现。未来的观测任务应该采用更多样化的测量手段获取关于气溶胶的更多信息。此外,针对内陆水体光学性质复杂且差异显著的特点,可以通过区域化精细调参提高校正结果的适配性,从而更有效地减少误差。
6 技术特色与创新之处
这项研究的技术特色和创新之处在于通过综合采用多种大气校正模型、机器学习框架和反演策略,显著提升了湖泊水体悬浮物浓度遥感反演的精度。
- 系统比较了五种大气校正模型,并结合实测水体光谱数据优化了大气校正过程,确定了最佳的 ACOLITE 模型。
- 研究利用 AutoGluon 机器学习框架,通过堆叠与集成策略构建了窄波段反射率与悬浮物浓度之间的高效估算关系,实现了高效建模。
- 该框架自动化的模型选择与调优过程大大简化了分析工作,并在测试集上取得了 R² = 0.97、RMSE = 3.54 mg/L 的优异表现。
- 研究通过集成多个模型优化了反演结果,增强了整体模型的准确性与鲁棒性。
7 总结
本研究基于实测光谱数据与 GF1_WFV 影像数据,通过实测光谱的窄波段变换、大气校正、AutoGluon 自动框架,将实测光谱与遥感影像相结合并构建了水体悬浮物浓度反演模型。主要结论如下:
- 在 6S、ACOLITE、FLAASH、QUAC、DT 这 5 种大气校正模型的默认参数设置下,ACOLITE 算法整体校正精度最高,拥有与实测水体反射率最为接近的数值范围以及光谱角度。五种算法都能在一定程度上消除大气的影响。在同质水体下,建议优先使用 ACOLITE 算法,操作简单,部署快捷。
- AutoGluon 的堆叠与集成策略在水体悬浮物浓度的反演中取得了显著成效。在验证集和测试集上,该策略均实现了较高的准确率。其中,测试集的检验准确度 R² 为 0.97,RMSE 为 3.54 mg/L。
尽管本研究成功构建了水体悬浮物浓度反演模型,并验证了 ACOLITE 等大气校正算法在特定类型水域下的有效性,但实测数据与遥感影像数据在联合反演过程中仍面临一些问题和挑战。
- 在实测数据联合遥感数据反演的过程中,构建高精度的反演模型并不困难,难点在于大气校正。从 SHAP 和 MdSA 的结果来看,影响悬浮物浓度反演的关键波段是 B4,然而即使是校正效果表现最好的 ACOLITE 模型,在 B4 波段的精度仍难以满足 GCOS 的要求,这种误差会进一步影响反演结果的准确性。
- 实测数据与影像数据类型不一样,空间分辨率存在差异,这些问题在联合反演的过程中仍然存在,需要更精确的大气校正模型来减小这种影响。内陆水体的光学性质复杂,不同类型光学性质不同,大气校正算法的性能表现有所不同。目前主流的大气校正模型都会结合辅助数据进行校正。在这种情况下,可以尝试对特定区域进行精细调参以实现高精度的大气校正,或在校正结果的基础上进行二次校正。
- 使用机器学习进行遥感反演通常需要大量数据来训练,以期学习到数据更一般的变化规律,本文中用来进行训练的数据有限,可能无法完全代表悬浮物浓度整体的分布状况,在条件允许的情况下,可以使用更多的数据进行训练得到泛化性更强的模型。也能具体量化不同大气校正模型的误差传递到反演模型的情况。
参考文献(References)
- Adrian R, O’Reilly C M, Zagarese H, et al. Lakes as sentinels of climate change[J]. Limnology and oceanography, 2009, 54(6part2): 2283-2297. ↩︎
- Bernstein L S, Jin X, Gregor B, et al. Quick atmospheric correction code: algorithm description and recent upgrades[J]. Optical engineering, 2012, 51(11): 111719-111719. ↩︎
- Cetinic I, McClain C R, Werdell P J, et al. PACE technical report series, volume 6: data product requirements and error budgets consensus document[R]. 2019. ↩︎
- Cooley T, Anderson G P, Felde G W, Hoke M L, Ratkowski A J, Chetwynd J H, Gardner J A, Adler-Golden S M, Matthew M W, Berk A, Bernstein L S, Acharya P K, Miller D and Lewis P. 2002. FLAASH, a MODTRAN4-based atmospheric correction algorithm, its application and validation. IEEE International Geoscience and Remote Sensing Symposium. 3: 1414-1418. [Doi: 10.1109/IGARSS.2002.1026134] ↩︎
- Erickson, Nick, Mueller, Jonas, Shirkov, Alexander, Zhang, Hang, Larroy, Pedro, Li, Mu, Smola and Alexander. 2020. Autogluon-tabular: Robust and accurate automl for structured data. arXiv preprint arXiv: 2003.06505. [Doi: 10.48550/arXiv. 2003.06505] ↩︎
- Kong X S, Zhang A D, Qian Y G, Dong Y Y. 2011. Teaching design and practice on reflectance measurement combined with the calculation of planetary reflectance. Science of Surveying and Mapping. 36(5): 234-236. ↩︎
- Kotchenova, Svetlana Y, Vermote, Eric F, Matarrese, Raffaella, Klemm Jr and Frank J. 2006. Validation of a vector version of the 6S radiative transfer code for atmospheric correction of satellite data. Part I: Path radiance. Optica Publishing Group. 45(26): 6762-6774. [Doi: 10.1364/ao.45.006762] ↩︎
- Kruse F A, Lefkoff A B, Boardman J W, et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data[J]. Remote sensing of environment, 1993, 44(2-3): 145-163. ↩︎
- Li H C. Applicability Evaluation of Atmospheric Correction Method for Poyang Lake[D]. JiangXi University of Science and Technology, 2022. ↩︎
- Liang S L, Li X W, Wang J D. 2019. Quantitative Remote Sensing: Ideas and Algorithms(Second Edition). Science Press. ISBN: 9787030639776. ↩︎
- Luo W J, Huang M F, Yang J J and Wang X. 2021. Remote sensing reflectance spectral analysis of oil and algae mixed water. Marine Sciences. 45(10): 49-60. ↩︎
- Mehta, A. J., Kirby, R., & Miao, S. (1989). Cohesive sediment transport processes and their implications. Proceedings of the Institution of Civil Engineers, 78(2), 401-454. ↩︎
- Pan Y Y, Guo Q Z, Sun J H. 2017. Advances in remote sensing inversion method of chlorophyll a concentration. Science of Surveying and Mapping. 42(1): 43-48. ↩︎
- Pahlevan N, Mangin A, Balasubramanian S V, et al. ACIX-Aqua: A global assessment of atmospheric correction methods for Landsat-8 and Sentinel-2 over lakes, rivers, and coastal waters[J]. Remote Sensing of Environment, 2021, 258: 112366. ↩︎
- Siegel D A, Wang M, Maritorena S, et al. Atmospheric correction of satellite ocean color imagery: the black pixel assumption[J]. Applied optics, 2000, 39(21): 3582-3591. ↩︎
- Su W, Zhang M Z, Jiang K P, Zhu D H, Huang J X and Wang P X. 2018. Atmospheric correction method for Sentinel-2 satellite imagery. Acta Optica Sinica. 38(01): 322-331. ↩︎
- Sun Ling. Atmospheric correction and water component inversion for HY-1A CCD [D]. Qingdao: Graduate School of the Chinese Academy of Sciences (Institute of Oceanology), 2005. ↩︎
- Syvitski, J. P. M., & Murray, A. B. (1981). Particle size sorting in river-mouth environments: A synthesis. Geology, 9(7), 300-304. ↩︎
- Tong Q X, Zhang B and Zhang L F. 2016. Current progress of hyperspectral remote sensing in China. National Remote Sensing Bulletin. 20(5): 689-707. ↩︎
- Vanhellemont Q, Ruddick K. 2016. Acolite for Sentinel-2: Aquatic applications of MSI imagery. Proceedings of the 2016 ESA Living Planet Symposium, Prague, Czech Republic. 9-13. ↩︎
- Wang J P, Wu X D, Ma D J, Wen J G and Xiao Q. 2023. Remote sensing retrieval based on machine learning algorithm: Uncertainty analysis. National Remote Sensing Bulletin. 27(03): 790-801. ↩︎
- Warren M A, Simis S G H, Martinez-Vicente, Victor, Poser, Kathrin, Bresciani, Mariano, Alikas, Krista, Spyrakos, Evangelos, Giardino, Claudia, Ansper and Ave. 2019. Assessment of atmospheric correction algorithms for the Sentinel-2A MultiSpectral Imager over coastal and inland waters. Remote sensing of environment. 225: 267-289. [Doi: 10.1016/j.rse.2019.03.018] ↩︎
- Yan L, Long D, Bai L L, Zhang C J, Han Z Y, Li X D, Wang W, Shen S H and Ye Y T. 2020. A review on water resources stereoscopic monitoring systems based on multisource data. National Remote Sensing Bulletin. 24(07): 787-803. ↩︎