改进3D-CNN的高光谱图像地物分类方法_郑宗生.pdf

第 卷，第 期自 然 资 源 遥 感，年 月 ，：引用格式：郑宗生，刘海霞，王振华，等 改进 的高光谱图像地物分类方法 自然资源遥感，（）：（，（）：）改进 的高光谱图像地物分类方法郑宗生，刘海霞，王振华，卢 鹏，沈绪坤，唐鹏飞（上海海洋大学信息学院，上海）摘要：高光谱图像具有数据量大、波段多和波段间相关性强等特性，传统高光谱分类方法通常单独考虑光谱和空间信息，特征提取不充分，忽略了图像纹理构造和重要光谱信息。针对这些问题，提出一种基于卷积神经网络（，）的高光谱分类方法。该方法基于三维（），处理多尺度空谱数据，并对双重注意力机制进行改进，提出光谱注意力机制；其次，采取跨层特征融合和多通道特征提取策略，进一步提高地物分类精度。选取“高分五号”卫星拍摄的 景影像共 个样本作为实验数据，并将提出的方法与支持向量机（，），一维（），二维（），和残差网络（，）进行比较分析。结果表明，所提方法的总体精度（，）和 系数均有显著提高，值均达到 以上。其中，在江苏南通地区数据集上达到了 ，较，和 方法分别提高了 ，百分点。关键词：高光谱图像；地物分类；三维卷积神经网络；注意力机制；特征融合中图法分类号：文献标志码：文章编号：（）收稿日期：；修订日期：基金项目：国家自然科学基金项目“一种面向多模态遥感信息的质量抽样检验方案研究”（编号：）、上海市科委市地方能力建设项目“复杂潮汐环境影响下海岛（礁）地物信息提取与精度验证方法及其示范应用”（编号：）和国家海洋局数字海洋科学技术重点实验室开放基金项目“面向深度学习与气象云图大数据的台风强度分类研究”（编号：）共同资助。第一作者：郑宗生（），男，博士，副教授，研究方向为遥感图像处理。：。通信作者：刘海霞（），女，硕士研究生，研究方向为遥感图像分类。：。引言高光谱图像具有“图谱合一”的特性和波段范围广的特点，能够提取到不同地物种类的细节特征，在精细农业、城市遥感和土地利用等方面发挥着重要作用，对高光谱图像进行地物分类已成为国内外的研究热点。机器学习方法中，典型的方法包括 近邻法（，）、支持向量机（，）和最大似然法等。同时，针对高光谱图像波段过多现象，降维是一种常用的手段，如主成分分析法（，）、独立成分分析法（，）和线性判别分析法（，）。然而这些传统方法只提取高光谱图像的浅层特征信息，未能学习抽象特征，不能达到较高的分类精度。近年来深度学习由于能够提取出高光谱图像更深层次的特征，被逐步应用在高光谱图像分类中。常见的网络模型有深度置信网络（，）、堆叠自动编码器（，）和卷积神经网络（，）。和 方法以分层训练的方式分层提取图像的深层特征，但是这 种方法要求数据被处理成为一维数据，然而一维的数据没有保留原始图像可能包含的空间信息，因而忽视了高光谱图像的空间信息，影响分类精度。在基于卷积神经网络（，）的高光谱分类方法中，最早是使用一维卷积核分类，等提出的一维（）模型，直接在光谱域中对高光谱图像进行分类，这些方法利用到了光谱信息；等提出了二维（）模型，首先用 或其他方式将维度降低，然后数据输入到模型中，这些数据先通过 来提取空间信息，然后结合光谱信息。相比于 ，方法 的分类精度有所提高，但是对空间特征和光谱特征的提取是分开进行的，并没有充分自 然 资 源 遥 感 年联合空间和光谱信息。随着分类方法的深入发展，三维（）也逐步应用于高光谱图像分类方法中。等提出了一种 结构来精确分类高光谱图像，该方法将高光谱图像立方体数据看作一个整体，使用三维卷积核直接提取光谱信息和空间信息结合的特征。但是，由于其网络结构比较单一，未能充分地提取地物特征，导致分类结果不佳。残差网络（，）通过浅层网络加上恒等映射层，能够在一定程度上增强网络结构，近年来也引用到遥感影像分类中。由于注意力机制在计算机视觉上的发展，它能够突显关键性特征，弱化相对无用的特征，许多学者开始将注意力机制引入到高光谱图像分类中。等提出了卷积块注意力模块（，），在空间和通道上对特征图进行处理，保留更具代表性的信息。是一个轻量级的模块，可以在模型中的任意位置使用。此外，文献将光谱注意力模块和空间注意力模块串行连接；文献提出双路对称光谱 空间注意力网络，将光谱注意力模块和空间注意力模块并行连接，然后将得到的结果综合起来，从而达到同时利用光谱信息和空间信息的效果。以上提出的注意力主要是针对空间和通道或者光谱和空间的组合，并未将空间、通道和光谱 个因素综合考虑。基于以上研究，本文提出了一种改进 的高光谱图像分类方法，使用 ，在双重注意力的基础上新增了一个针对光谱维度的注意力模块，建立三重注意力机制，选择性地学习高光谱图像中的特征信息，解决因光谱维度过多特征信息难以处理的问题。同时采用不同特征融合策略进行特征提取，关注图像的各层特征信息，充分利用地物的底层边缘信息和纹理特征信息，解决在特征提取中低层信息的丢失和不充分问题。本文针对高分五号（）高光谱卫星的 景数据进行实验，并与其他方法进行对比分析，为 卫星数据的地物分类研究提供参考。改进 的高光谱图像分类方法 网络结构本文方法主要思想是利用 提取立方体图像的特征，包括空间信息和光谱信息。使用三重注意力机制对特征进行选择，通过多通道的设计提取各个特征信息，然后进行特征融合。同时，针对不同层提取的特征信息，设计跳跃连接，实现跨层特征融合，从而进一步提高分类的精度。网络结构如图 所示，首先，对遥感图像进行预处理，消除大气等因素对图像的影响，包括辐射定标、大气校正和正射校正等操作，同时筛选掉条纹损坏的波段；然后，制作成数据集，将数据分块送进网络，经过卷积层提取浅层特征，接下来进入 个中层特征提取模块，这个模块中使用三重注意力机制和多通道特征提取策略，之后将各个层提取的特征融合起来提取高层特征；最后，经过分类器，得到分类结果。图 本文分类网络结构 目前在图像处理领域，大多数使用的是，直接从图像中提取特征。但是，由于高光谱图像中有大量复杂冗余的波段，二维卷积核不太适用，它需要在数百个通道上的光谱维度上进行卷积，这可能会导致大量的计算成本，也可能产生过拟合。此外，可以对数据的光谱维度进行预处理，如采取一定的降维措施，但是有一个明显的缺点，就是不能很好地利用到所有的光谱信息。在计算机视觉中，三维卷积核可以学习到时空特征，已经使用在基于视频的应用中。鉴于高光谱影像的光谱维度较高的特性，本文使用三维卷积核，沿着整个光谱带对高光谱立方体数据进行卷积，同时提取空间特征和光谱特征。计算三维卷积核的计算公式为：，（，（）（）（），），（）第 期郑宗生，等：改进 的高光谱图像地物分类方法式中：，为第 个卷积层第 个特征图在点（，）处的值；与 为卷积核在空间上的尺寸，即长度和宽度；为卷积核在光谱维度上的尺寸；，为与前一卷积层中第 个特征图所连接的卷积核的值；（）（）（），为第 个卷积层中第 个特征图中在（，）位置的值；（）为激活函数；，为偏置。本文中 的输入数据是（，）的立方体，其中 为图像的长和宽，取值相同，为原始波段数，将数据分块送进网络。采用三维卷积核，直接处理立方体数据，不用单独提取空间和光谱信息。最终输出层得到的结果是中心像素点的标签，从而实现像素级分类。三重注意力机制是一种轻量的注意力模块，包括空间注意力机制和通道注意力机制。输入特征沿着通道和空间 个维度计算出权重系数，然后将权重系数与特征图相乘，得到新的特征图。对于高光谱图像，由于存在多个波段，包含丰富的光谱信息，为了有效利用这些特征，本文在 模块的基础上新增了一个光谱维度注意力模块，建立了三重注意力机制。三重注意力机制模块是通过串联的方式组合在一起的，光谱注意力模块位于通道注意力模块和空间注意力模块之间。在中层特征提取模块中，特征图依次通过通道注意力模块、光谱注意力模块和空间注意力模块进行感兴趣区域提取，从而获得有效的目标特征。具体实现如图 所示。光谱注意力模块通过池化操作聚合空间信息和通道信息，然后将特征图送进一个共享网络，共享网络由多层感知器（，）和一个隐藏层组成，根据特征的重要程度给每个光谱通道分配权重信息以生成新的特征图。图 三重注意力机制结构 均值池化操作能够保留整体数据的特征，最大池化方式可以保留纹理特征。首先，将输入特征分别进行均值池化和最大池化处理；其次，将 类池化操作的处理结果输入到 中进行运算；最后，将运算结果相加并采用 函数进行激活，生成注意力权重系数。这些权重即为每个光谱通道的权重，反映了每个特征的重要程度。最终将权重系数和原特征图进行像素级乘法即产生了新的特征图，公式为：（）（）（），（）（），（）式中：（）和（）分别为均值池化和最大池化操作；为原特征图；为激活函数（）；（）为计算得到的权重系数；为像素级乘法；为产生的新特征图。特征融合策略在特征提取过程中，通过对特征图的反复卷积来获得图像的特征信息，在低层网络中，主要提取的是图像的边缘背景等纹理信息，经过多次卷积后，获取的特征信息更加的具体化，中层网络中能提取到图像的区域信息，在高层网络中，能够获取对象的整体信息。最后，将高层网络中得到的特征信息送入分类器中进行分类。为了避免高层网络中获得的特征图损失了一些低层特征信息，从而影响最后的分类精度。本文采用跨层特征融合策略，全面利用各卷积层提取的特征信息。如图 所示，将低层网络和中层网络中获得的特征信息保存下来，待高层网络提取特征之后，通过特征融合对这 个特征信息进行处理，获得新的特征图，这样特征图所包含的信息更丰富，避免了在卷积过程中由于多次卷积而丢失一些边缘信息和纹理特征信息。自 然 资 源 遥 感 年图 特征融合示意图 另一方面，为了有效利用特征信息，除了跨层特征融合，在低层和中层网络特征提取时，采用多通道特征提取策略，获取不同信息。如图 所示，对于同一个特征图，分为多个支路，处理多尺度的特征信息，然后将得到的信息融合在一起。相比于单通道提取，这种结构能够捕捉的信息更加多样，从而实现多方面、深层次地提取高光谱图像的空谱特征。实验结果与分析 研究区数据本文使用的数据是 高光谱卫星数据，其波段数有 个，光谱范围覆盖为 。由于原始数据为 级数据，需要对其进行预处理，包括辐射定标、大气校正和正射校正，以降低大气等因素造成的噪声影响。最后，去除了损坏的波段，最终获得的数据集包含了 个有效波段。研究地区包括上海崇明和江苏南通的部分地区共 景影像，如图 所示。这 个地区相对于城市地区来说，土地种类丰富，适合研究地物分类。相应选择同时期的高清地图进行辅助标注作为数据标签。研究区数据拍摄于 年 月 日，经纬度坐标分别为，和，。（）崇明数据集原始影像（）南通数据集原始影像图 实验数据遥感影像 研究区选择 类样本，分别为耕地、建筑物、水体、泥滩、农田。个研究区域的数据集样本总数和各类样本总数如表 所示。表 各数据集样本数 （个）类别崇明数据集南通数据集耕地建筑物水体泥滩农田总数 实验设置本文采用，和 等 种方法作为对比实验，对 类地物进行分类，同时通过实验分析卷积核个数对实验精度的影响。实验以 系统为操作平台，使用 的，所采用的 型号是 ，频率为，内存。和 软件为制作图像标签工具，深度学习采用 框架。实验流程包括 个部分：对数据进行预处理，包括对原始影像的预处理和其他数据的预处理；实验部分，包括本文方法和其他算法的对比；通过计算评价指标总体精度（，）和 系数，来评估实验的分类性能。评价指标采用 种评价指标分析实验结果的准确性，分别为 和 系数，都是通过建立混淆矩阵来反映真实结果与检测结果之间的一致性程度，计算公式分别为：，（）（）（），（）式中：为类别总数量；为样本总数量；为第 类被识别成第 的样本数。结果分析崇明数据集和南通数据集经过实验得到的分类结果如图 所示。第 期郑宗生，等：改进 的高光谱图像地物分类方法（）崇明数据集分类结果（）南通数据集分类结果图 实验数据分类结果 表 为本文方法与，和 在崇明数据集和南通数据集进行对比的分类结果。以崇明数据集为例展示不同模型下的分类结果（图）。实验结果表明，与，和 方法相比，本文方法实现了最好的分类结果。表 不同方法的对比结果 模型崇明数据集南通数据集 本文方法 （）（）（）（）（）本文方法图 不同模型的崇明数据集分类结果 从结果可以看出：）方法和 方法，由于忽略了空间信息，在分类性能上有所欠缺。在 个数据集上的 均未超过，系数均未超过 。）方法利用到了高光谱图像的空间信息，但是未能充分联合光谱信息进行分类。在 个数据集上的 有所提高，分别为和，系数分别为 和 。）方法通过三维卷积核对高光谱数据进行卷积，充分联合了空间光谱信息。较 方法分类精度有明显提高，在 个数据集上 分别达到了 和 ，系数分别达到了 和 。）方法在网络的基础上加入了残差结构，加深了网络结构，在 个数据集上的 均达到了 以上，系数也达到了 以上。）本文方法在 个数据集上的 和 系数均为最高，较对比方法提升明显。其中，在南通数据集中，达到 ，比，和 方法分别高出 ，百分点。系数达到 ，较对比方法分别高出 ，和。参数对实验的影响在深度学习的实验过程中，设置不同的卷积核个数会得到不同的分类结果。本文通过多次实验确定最优的卷积核个数以期得到最高的分类精度。对于网络中第一层的卷积核个数，分别设置为，和 进行实验，得到如表 的实验结果。结果表明，当卷积核个数设置为 时，个数据集均能达到最高的分类精度，卷积核个数低于 和高于 时均没达到最好的效果，原因可能是卷积核个数过少不能充分提取特征信息，卷积核个数过多导致模型的过拟合现象。因此，将第一层卷积核个数设定为。表 不同卷积核个数的对比结果 卷积核个数崇明数据集南通数据集 结论为充分挖掘高光谱图像中包含的空谱信息，本自 然 资 源 遥 感 年文提出了一种 结合注意力机制的分类方法。通过三维卷积核计算特征图，同时，提出三重注意力机制，从图像的众多特征中，筛选出更重要的特征，重新分配每个特征的权重，抑制对分类无用的特征。同时，采取跨层特征融合和多通道策略进行特征提取，全面地利用不同层的特征信息，更好地进行地物分类。利用 卫星在上海崇明及江苏南通地区获取的 景遥感影像数据进行实验，并与，和 等方法进行对比分析。结果表明，与其他分类方法相比，本文提出的方法在精度上达到最高，有效证明了本文方法的实用性，可作为其他应用场景下的地物分类的模板。后续的研究将探索有效的数据扩充方法来增强数据样本，从而提高分类精度。参考文献（）：叶 珍，白 璘，何明一 高光谱图像空谱特征提取综述 中国图象图形学报，（）：，（）：王振华，张鑫月，刘智翔，等 遥感地物分割的改进格子玻尔兹曼并行模型 遥感信息，（）：，（）：涂 兵，张晓飞，张国云，等 递归滤波与 的高光谱遥感图像分类方法 国土资源遥感，（）：，（）：，（）：，：，（）：梁 亮，杨敏华，李英芳 基于 与 算法的高光谱遥感影像分类 光谱学与光谱分析，（）：，（）：张 兵 高光谱图像处理与信息提取前沿 遥感学报，（）：，（）：，（），：，：，：，：，（）：，（）：，（），：，（）：，：，：，（）：，（）：，（）：韩彦岭，崔鹏霞，杨树瑚，等 基于残差网络特征融合的高光谱图像分类 国土资源遥感，（）：，（）：第 期郑宗生，等：改进 的高光谱图像地物分类方法 ，（，）：，（），（），（），（），（）（），：；（责任编辑：张 仙）