基于CWT-sCARS的土壤铜含量高光谱反演.pdf

年 月第 卷 第 期 基于 的土壤铜含量高光谱反演收稿日期:通讯联系人基金项目:塔里木河流域土地开发与农业资源调查()淮北矿业集团科技研发项目()作者简介:张世文()男安徽合肥人教授博士博士生导师 :.张世文李唯佳李恩伟朱曾红孔晨晨(.安徽理工大学 地球与环境学院安徽 淮南.安徽理工大学 空间信息与测绘工程学院安徽 淮南)摘 要:光谱变量的有效程度与土壤铜含量的反演精度密切相关 基于原始反射率以及不同分解尺度下的小波系数本研究采用连续小波变换()算法、稳定性竞争自适应重加权采样()算法和随机森林()算法对土壤铜含量进行了反演与验证 研究结果表明:连续小波变换可以有效提高光谱特征与土壤铜含量之间的相关性不同分解尺度对应的最大相关系数中最大值位于 分解尺度下 处相关系数为 使用 算法可以显著减少特征变量的数量结合 变换和 算法可以显著减轻数据冗余提高土壤 含量的反演精度 该研究可为利用高光谱遥感技术快速、高精度反演土壤 含量提供重要参考关键词:高光谱反演连续小波变换稳定性竞争自适应重加权采样中图分类号:文献标识码:文章编号:()(.):.()()().:土壤在人类生活中扮演着重要的角色作为生存所需物质的基础土壤成分不断影响着植物的健康和环境的质量从而进一步影响人类和其他生物的生存 重金属是土壤中广泛存在的成分之一而铜作为一种常见的重金属其含量水平是评估土壤质量的关键指标之一 相对于传统的土壤化学分析方法光谱分析以分子或化学键吸收光的原理为基础具有无损、快速监测的优势因此在反演土壤成分方面表现出潜力 目前基于光谱学的土壤成分分析方法主要分为近端光谱学分析和遥感两大类 近端光谱学分析具有高分辨率和数据采样精度高的特点适合于光谱机理研究和分析算法的开发为大尺度、大面积的遥感 方法奠定了基础基于近距离光谱方法的土壤组分含量反演面临光谱信噪比降低、敏感波段筛选以及分析模型的建立等问题 由于土壤中铜含量较低且其光谱反射率容易受其他土壤组分的影响故敏感波段往往不易选择这导致了直接反演的精度较低 连续小波变换()具有多个分解尺度不同的分解尺度能够提供不同的光谱信息 分解尺度的选择至关重要太小的尺度无法凸显有效信息而太大的尺度可能造成信息损失合适的分解尺度是凸显光谱有效信息的关键 于雷等基于连续小波变换进行土壤有机质反演为例发现相较于原始反射率小波变换后的模型精度有了显著提升 方圣辉等在基于连续小波分析的植物叶绿素反演中取得了更高的模型精度超过了传统植被指数经验模型的精度 林鹏达等运用 进行有机质反演结果显示基于 的反演精度高于基于原始反射率和对数转换的方法此外敏感波段的冗余对反演精度会产生负面影响彭远新等采用相关分析方法选择了特征波段选取相关系数大于 的波段作为敏感波段 程丽娟等运用多种敏感波段挑选方法进行变量筛选结果表明连续投影算法在敏感波段数量挑选上不够稳定 相比其他敏感波段筛选方法稳定性竞争自适应重加权抽样()算法具有更好的稳定性且能够剔除无效变量从而提升模型性能因此选择适当的光谱预处理方法和特征变量筛选方法对于提高土壤铜含量的高精度反演至关重要 本研究通过连续小波变换()对光谱原始反射率进行处理利用不同的分解尺度突显了光谱中的有效信息 随后采用稳定性竞争自适应重加权抽样()算法对 处理后的小波系数进行特征变量挑选旨在降低波段冗余的同时筛选出对土壤铜含量敏感的波段为高光谱高精度直接反演土壤铜含量提供重要参考 材料和方法.数据收集.土壤样品采集鉴于土壤的空间分布不均匀性以及研究区地形的影响共采集 个土样 这些土样的采集深度范围从 到 并且使用全球定位系统()精确标记了采样地点 随后将土样带回实验室进行风干、研磨和过筛等处理 土样被分成 份 份用于测定土壤中铜()的含量另 份用于进行土壤光谱测试.高光谱数据获取光谱数据的测试是在暗室中进行的使用 型便携式地物光谱仪来测量土样的光谱数据(见图)在暗室条件下使用标准白板和卤素光源获取了土壤样本的反射光谱曲线 该仪器的光谱测量范围为 到 在实验开始前让仪器通电预热 在实验过程中将土壤样本均匀铺在直径为 、高度为 的玻璃盛样皿中盛样皿底部垫有黑色绒布 为确保数据的准确性在测量之前排除了辐射强度中暗电流的影响并进行了白板定标 为了防止测量过程中受到其他因素的影响每测量 个样本就进行一次白板校正 对于每个样本采集了 条光谱曲线然后剔除了噪声较大的曲线最后对其进行算数平均得到该土样的实际反射光谱数据图 高光谱数据测定.光谱数据处理.光谱降噪在比较了几种常见的平滑方法后结合之前的研究结果本研究采用了 卷积平滑算法对光谱进行降噪处理 这种方法是一种时域内基于局部多项式最小二乘法的滤波方法其最大优势在于它不仅可以去除噪声同时还能保持信号的形状和宽度不变.连续小波变换在()中通过将一维光谱与不同尺度和平移位置的母小波进行卷积将光谱数据转化为一个二维小波系数图其中张世文等 基于 的土壤铜含量高光谱反演尺度因子和平移因子组成了其坐标 尺度因子越大对应的分析频率越低 变换公式为:()()()()()()()式中:()为土壤高光谱反射率 为光谱波段()为小波基函数 为尺度因子 为平移因子 小波系数()包含 和 两维分别是分解尺度()和波段()组成的 矩阵即 将一维土壤高光谱反射率数据转换为二维小波系数.算法 算法选择敏感波段的方法是以回归系数作为指标回归系数越稳定变量越有可能被选择 在计算过程中通过不断的循环计算每次迭代都是先计算变量的稳定性然后采用自适应重加权采样技术()和指数衰减函数()对变量进行筛选得到一个稳定性高的变量集最终通过交互检验均方根误差()得到一个具有 最小值的变量集作为敏感波段的最终选择.模型建立与精度验证采用随机森林()来建立土壤中重金属铜含量的预测模型 模型由多颗决策树构成这些决策树协同合作以产生最终的预测结果而且各个决策树之间是相互独立的 为了验证模型的准确性选用决定系数()和均方根误差()作为评估指标 ()()()()()式中:表示土壤铜含量的实测值表示土壤铜含量的预测值 表示土壤铜含量的真值均值为实测值数量 越大模型越稳定 越小模型的预测能力越强 结果与分析结果分析分为三个步骤:第一步是对原始光谱特征进行分析第二步是对连续小波变换获得的小波特征进行分析第三步是对原始光谱和小波特征进行敏感波段的筛选 然后将筛选出的敏感波段作为输入变量分别建立土壤 含量的反演模型并对这些模型的稳定性和预测能力进行分析.原始光谱特征分析图 为 算法平滑处理后的土壤光谱反射率曲线 由图 可知土壤光谱反射率曲线呈现出较为平缓的趋势但在波段的特定位置出现了明显的吸收峰 其中 和 波段具有较大的吸收峰而在 和 附近存在较小的吸收峰 在光谱反射率随波长变化方面可以观察到:在 波段光谱反射率随着波长的增加迅速上升在 范围内随着波长的增加光谱反射率基本保持稳定只出现一个很小的吸收峰在 范围内存在一个较大的吸收峰而在 范围内反射率逐渐下降图 土壤光谱反射率曲线图 为土壤铜含量与原始光谱反射率的相关性分析结果图 土壤铜含量与原始光谱反射率的相关性分析 由图 可知在未进行光谱变换的情况下土壤铜含量与光谱反射率的相关性在波长 处达到最大值决定系数()为 在波长范围为 间决定系数()超过 然而在 范围内相关性较低决定系数()不超过 在波长范围为 和 时决定系数()在 至 之间 这表明未经处理的原始波段与土壤 含量之间的相关性相对较低.连续小波变换的特征分析.不同分解尺度下小波系数曲线分析为深入研究土壤光谱反射率和 含量之间的蚌埠学院学报 年 月 第 卷 第 期(总第 期)相关性本研究采用连续小波变换()将分解尺度设置为 分别记为尺度 到 以将原始光谱数据转化为不同尺度下的小波系数在对原始光谱进行 处理时小波基函数的选择至关重要 由于 函数的曲线特征与土壤光谱曲线相似因此选择 函数作为 处理的小波基函数 图 为不同分解尺度下的小波系数曲线由图 可知经过连续小波变换()处理后光谱反射率生成了凸显隐藏信息的小波系数图这些小波系数随着分解尺度的变化而变化 在图 中的 到 部分随着分解尺度的增加小波系数的变化越趋平滑与此同时隐藏信息也更加明显地显现出来 然而当分解尺度过大如图 中的 到 所示光谱曲线变得过于平滑导致特定吸收峰消失绝大多数信息都被掩盖或隐藏图 不同分解尺度下的小波系数曲线.连续小波变换的相关性分对上述经过变换得到的小波系数与土壤 含量进行相关性分析 图 为土壤铜含量与小波系数的决定系数矩阵其中深色表示相关性较弱而浅色表示相关性较强 由图 可知经过连续小波变换()处理后小波系数与土壤 含量之间的相关性相较于未处理的光谱有所提高 对每一个分解尺度进行分析 分解后的小波系数在 和 时决定系数较低表示获取有效信息较少然而在 时在红外光谱区域出现了一部分决定系数较高的区域表明在这个尺度下部分有效信息开始凸显 在 到 之间决定系数较大的区域逐渐增多分布区域从最初的红外波段扩展到最后的可见光和红外波段表明随着分解尺度的增加有效信息凸显相关性也逐渐增大 然而在 和 时光谱信息相对较单一表明分解尺度太大导致部分有效信息丧失图 土壤铜含量与小波系数的相关性分析 由此可见 处理后的原始光谱能够凸显出光谱中的隐藏信息提高光谱与土壤 含量之间的相关性但分解尺度至关重要较小的分解尺度无法有效凸显光谱信息而较大的分解尺度会导致光谱信息损失表 统计了各分解尺度中决定系数最大值及其所在位置 由表 分析可得针对连续小波变换的相关性分析在 个不同分解尺度(从 到)下除了、和 分解尺度外其他分解尺度的决定系数最大值均超过 除 和 分解尺度外其他分解尺度下小波特性的决定系数最大值都高于原始波段 和 分解尺度的决定系数最大值与原始波段几乎相等这表明连续小波变换通过分解光谱特性可以提高土壤铜含量的相关性 在不同的分解尺度下决定系数最大值的取值范围较广其中最大值出现在 的分解尺度下对应波长为 决定系数为 而最小值出现在 的分解尺度下对应张世文等 基于 的土壤铜含量高光谱反演波长为 决定系数为 这些结果反映了不同分解尺度下的小波特性与土壤铜含量之间的相关性变化对进一步分析和建模提供了重要信息表 各分解尺度中决定系数最大值及其所在位置分解尺度所在位置/决定系数最大值.设置敏感区域为决定系数最大值的上下 对应区域不同的敏感区域对应不同的分解尺度如下所示:对应 对应 对应 对应 对应 对应 对应 对应 对应 对应 对应 对应 对应 对应 对应 对应 对应 对应 对应 这些敏感区域和对应的分解尺度是通过相关性分析获得的它们代表了在不同尺度下与土壤铜含量最相关的波段 这些信息对于进一步的分析和建模具有重要的指导意义.土壤 敏感波段筛选 算法的波段筛选过程是一个迭代的过程图 为这一过程的具体情况图 清晰地展示了原始光谱数据经筛选后的 个土壤铜敏感波段的分布情况由图 可知在变量筛选的过程中随着迭代次数的增加 呈现出先逐渐减小然后突然增加最终趋于稳定的趋势 具体来说当迭代次数达到 次时 取得了最小值为.这是因为在迭代次数小于 时一些相关性较低的波段被保留下来导致 相对较高 而当迭代次数超过 时一些对建模有较大影响的波段被剔除同样导致 增加 因此可以确定本次波段筛选的最佳迭代次数为 次这时筛选出的 个敏感波段表现最佳 图 表明原始光谱土壤铜的敏感波段主要分布在近红外区域图 算法敏感波段筛选过程图 原始光谱土壤铜敏感波段分布.模型建立及土壤铜含量反演利用 筛选出的敏感波段作为输入变量采用随机森林作为土壤 含量的反演模型所得到的反演结果已汇总在表 中表 土壤 含量反演结果处理方式变量数验证集 /.由表 可知:采用全波段建模的决定系数 为 当应用 算法对原始反射率数据进行处理后模型的预测精度明显提高值达到 相较蚌埠学院学报 年 月 第 卷 第 期(总第 期)于全波段建模提高了 均方根误差 也降低了 这表明 处理有助于突显原始光谱中的潜在信息从而显著提升了模型的预测性能和稳定性这一结果与相关性分析结果相符采用 算法后同样可以观察到模型的预测精度有所提高但采用 算法对原始光谱进行特征筛选后模型的预测性能相对较低仅为 相较于全波段建模提高了 采用 算法对 处理后的小波系数进行筛选后筛选出的特征波段共有 个建立的预测模型的 值达到 相较于全波段建模提高了 降低了 采用 结合 算法对土壤光谱数据进行预处理和特征筛选不仅降低了模型的输入变量数量减少了数据冗余还显著提升了模型对土壤 含量的估测精度和稳定性 结果与讨论波段的选择对于提升反演精度至关重要 土壤铜含量较低容易受到土壤中其他因素的干扰一阶微分等传统预处理方法难以充分凸显隐藏的有效信息极大相关性筛选方法可能会导致波段冗余影响土壤铜含量的反演精度 和 算法的联合应用可以有效地提取光谱特征变量提高反演模型的预测精度 小波分析能够对光谱数据进行多尺度的时域和频域分解通过寻找不同尺度上的最佳信号来进行土壤成分的预测 而 能够对光谱数据进行连续分解确保分解后的小波系数与原始光谱数据一一对应更有效地提取光谱信息中的微弱信号清晰地表征光谱特性 国内外许多研究已经通过实验证明经过 处理的光谱数据在有机质、叶绿素等方面的反演中取得了较高的精度 优于传统的光谱变换方法下的模型精度这与本研究结果吻合过去许多学者通常采用相关性分析法来研究土壤铜含量与土壤光谱反射率之间的关系他们会选择相关系数较高的波段作为土壤铜的敏感波段 然而通过相关性分析法选择的特征变量较多这可能导致波段内存在变量冗余的情况 而 算法在敏感波段筛选的过程中采用了一种迭代的方法随着迭代次数的增加会逐步剔除波段内相关性较低的特征变量直到达到最佳的效果 因此算法越来越受到学者们的欢迎成为首选的变量筛选方法 本研究基于 算法分别选择了原始波段和经过小波变换的光谱数据中的 和 个特征变量分别占全波段数目的 和 这意味着近乎 的冗余信息被滤除而建模效果也得到了明显改善 这个结果与何东健等人关于有效磷敏感波段的筛选结果相一致 这表明 算法在土壤光谱研究中的潜力特别是在筛选敏感波段时是非常有前景的经过 处理的原始光谱反射率在不同的分解尺度下呈现不同效果 合适的分解尺度对于凸显光谱中的有效信息非常重要它可以增加有效变量被提取到的可能性 算法通过不断增加迭代次数逐渐将相关性较弱的波段剔除筛选出更有效的敏感波段的同时减少了波段的冗余性 因此首先利用 算法对 处理后凸显出的有效信息进行筛选然后使用筛选后的数据进行土壤铜含量的直接反演可以充分发挥 和 算法的优势快速有效地提高土壤铜含量的反演精度 结论在对矿区土壤样本的铜含量进行反演中采用了小波变换()对原始光谱进行了预处理通过与土壤铜含量的相关性比较评估了连续小波变换对光谱的处理效果 此外还结合 算法来筛选关键特征波段并最终构建了随机森林模型 得出的主要结论如下:()连续小波变换可以有效提高光谱特征和土壤铜含量之间的相关性 在不同分解尺度下相关性最大值基本都超过了.尽管在、和 分解尺度下的相关性最大值略低于 但仍然接近原始波段的相关性水平 而且在第 个分解尺度下相关性最大值达到了 ()在土壤 含量的反演过程中所选取的输入变量对于模型的预测精度和运行效率具有重要影响 通过 算法的应用成功筛选出了仅包含 个和 个变量的特征集合它们分别占全波段数据的 和 将这些筛选后的特征用作输入变量相较于直接使用原始波段进行铜含量反演模型反演的精度和稳定性都得以提高()先利用 算法对 变换后的小波系数进行波段筛选再将其作为 模型的输入变量进行土壤铜含量反演的反演效果最佳该反演方法的 为 为 此方法不仅有效减少了输入变量的数量减轻了数据冗余还显著提高了对土壤 含量的反演精度参考文献:蔡祖聪.土壤在植物多样性形成中的作用及其研究意张世文等 基于 的土壤铜含量高光谱反演义.土壤学报():.陈雅丽翁莉萍马杰等.近十年中国土壤重金属污染源解析研究进展.农业环境科学学报():.():.():.李晨张国伟周治国等.滨海盐土土壤水分的高光谱参数及估测模型.应用生态学报():.郭云开张思爱王建军等.特征变量选择结合 的耕地土壤 含量高光谱反演.测绘工程():.艾孜提艾力克依木李新国.基于连续小波变换的土壤重金属含量反演模型.环境科学与技术():.石朴杰王世东张合兵等.基于高光谱的复垦农田土壤有机质含量估测.土壤():.赵瑞崔希民刘超.高光谱遥感影像的土壤有机质含量反演估算研究.中国环境科学():.孙浩然赵志根赵佳星等.珠海一号高光谱遥感的表层土壤有机质含量反演方法.遥感信息():.玉米提买明王雪梅.塔里木盆地北缘荒漠土壤有机质含量的高光谱估测.中国土壤与肥料():.郭云开石自桂.不同尺度反演土壤重金属铜含量研究.北京测绘():.宋开山张柏王宗明等.基于小波分析的大豆叶绿素 含量高光谱反演模型.植物生态学报():.梁栋杨勤英黄文江等.基于小波变换与支持向量机回归的冬小麦叶面积指数估算.红外与激光工程():.于雷洪永胜周勇等.连续小波变换高光谱数据的土壤有机质含量反演模型构建.光谱学与光谱分析():.方圣辉乐源梁琦.基于连续小波分析的混合植被叶绿素反演.武汉大学学报(信息科学版)():.林鹏达佟志军张继权等.基于 的黑土有机质含量野外高光谱反演模型.水土保持研究():.彭远新蒙永辉徐夕博等.基于随机森林算法的潍北平原土壤全氮高光谱估算.安全与环境学报():.程丽娟刘贵珊何建国等.基于高光谱开发滩羊肉中高铁肌红蛋白含量的定量函数.光谱学与光谱分析():.李冠稳高小红肖能文等.特征变量选择和回归方法相结合的土壤有机质含量估算.光学学报():.罗德芳彭杰冯春晖等.可见光 近红外、中红外光谱的土壤有机质组分反演.光谱学与光谱分析():.勾宇轩赵云泽李勇等.基于 的东北旱作农田土壤有机质高光谱反演.农业机械学报():.叶红云熊黑钢张芳等.基于 的人类不同程度干扰下干旱区土壤有机质含量估算研究.激光与光电子学进展():.陈昊宇杨光韩雪莹等.基于连续小波变换的土壤有机质含量高光谱反演.中国农业科技导报():.廖钦洪顾晓鹤李存军等.基于连续小波变换的潮土有机质含量高光谱估算.农业工程学报():.胡亚男高小红申振宇等.基于野外实测 光谱的土壤肥力估算研究 以湟水流域为例.土壤通报():.刘国海夏荣盛江辉等.一种基于 策略的近红外特征波长选择方法及其应用.光谱学与光谱分析():.何东健陈煦任嘉琛等.土壤速效磷含量近红外光谱田间快速测定方法.农业机械学报():.蚌埠学院学报 年 月 第 卷 第 期(总第 期)