基于CycleGAN的月表图像数据增强方法.pdf

第 卷第 期 年 月系统工程与电子技术 文章编号：（）网址：收稿日期：；修回日期：；网络优先出版日期：。网络优先出版地址：基金项目：国家自然科学基金（）资助课题通讯作者引用格式：宋婷，兀泽朝，高艾，等基于 的月表图像数据增强方法系统工程与电子技术，（）：犚犲 犳 犲 狉 犲 狀 犮 犲犳 狅 狉犿犪 狋：，（）：基于犆狔 犮 犾 犲犌犃犖的月表图像数据增强方法宋婷，兀泽朝，高艾，袁建平（西北工业大学航天学院，陕西 西安 ；上海航天控制技术研究所，上海 ；北京机电工程研究所，北京 ；复杂系统控制与智能协同技术重点实验室，北京 ；北京理工大学宇航学院，北京 ）摘要：针对月球表面先验图像信息获取困难的问题，提出一种基于对抗神经网络的月表先验图像数据增强方法。在获取少量月表图像及障碍背景分割图的基础上，构建基于对抗神经网络的月表图像数据增强架构，利用新的障碍背景分割图匹配生成月表图像，扩充月表先验图像数据，可用于月球探测中障碍检测算法设计验证。仿真结果证明了所提方法生成的月表图像接近真实拍摄图像，且通过数据增强图像数据，使障碍检测结果获得明显提升，证明了方法的有效性。关键词：月球探测；数据增强；深度学习；对抗神经网络中图分类号：文献标志码：犇犗犐：犆狔 犮 犾 犲犌犃犖 犫 犪 狊 犲 犱犱 犪 狋 犪犲 狀 犺 犪 狀 犮 犲犿犲 狀 狋犿犲 狋 犺 狅 犱犳 狅 狉犾 狌 狀 犪 狉狊 狌 狉 犳 犪 犮 犲犻 犿犪 犵 犲 狊 ，（犛 犮 犺 狅 狅 犾狅 犳犃狊 狋 狉 狅 狀 犪 狌 狋 犻 犮 狊，犖狅 狉 狋 犺狑犲 狊 狋 犲 狉 狀犘狅 犾 狔 狋 犲 犮 犺 狀 犻 犮 犪 犾犝狀 犻 狏 犲 狉 狊 犻 狋 狔，犡犻犪 狀 ，犆犺 犻 狀 犪；犛犺 犪 狀犵犺 犪 犻犃犲 狉 狅 狊 狆犪 犮 犲犆狅 狀 狋 狉 狅 犾犜犲 犮 犺 狀 狅 犾 狅 犵狔犐 狀 狊 狋 犻 狋 狌 狋 犲，犛犺 犪 狀犵犺 犪 犻 ，犆犺 犻 狀 犪；犐 狀 狊 狋 犻 狋 狌 狋 犲狅 犳犕犲 犮 犺 犪 狀 犻 犮 犪 犾犪 狀犱犈 犾 犲 犮 狋 狉 犻 犮 犪 犾犈狀犵 犻 狀 犲 犲 狉 犻 狀犵，犅犲 犻 犼 犻 狀犵 ，犆犺 犻 狀 犪；犛 犮 犻 犲 狀 犮 犲犪 狀犱犜犲 犮 犺 狀 狅 犾 狅 犵狔狅 狀犆狅犿狆 犾 犲 狓犛狔 狊 狋 犲犿犆狅 狀 狋 狉 狅 犾犪 狀犱犐 狀 狋 犲 犾 犾 犻 犵 犲 狀 狋犃犵 犲 狀 狋犆狅 狅 狆 犲 狉 犪 狋 犻 狅 狀犔犪 犫 狅 狉 犪 狋 狅 狉 狔，犅犲 犻 犼 犻 狀犵 ，犆犺 犻 狀 犪；犛 犮 犺 狅 狅 犾狅 犳犃犲 狉 狅 狊 狆犪 犮 犲犈狀犵 犻 狀 犲 犲 狉 犻 狀犵，犅犲 犻 犼 犻 狀犵犐 狀 狊 狋 犻 狋 狌 狋 犲狅 犳犜犲 犮 犺 狀 狅 犾 狅 犵狔，犅犲 犻 犼 犻 狀犵 ，犆犺 犻 狀 犪）犃犫 狊 狋 狉 犪 犮 狋：，犓犲 狔狑狅 狉 犱 狊：；引言获取月球表面的先验图像信息是实现月球表面障碍检测和标记的前提。虽然在执行探测任务时，可以利用探测器自身携带的光学电荷耦合元件（，）相机获得地表图像，但是由于现有的月球探测任务次数较少，在月表障碍检测方法研究过程中，缺少高质量的先验月球图像数据，限制了障碍检测方法的发展，也不利于检测算法设计与验证。随着机器学习方法在图像处理技术领域的发展，其智 系统工程与电子技术第 卷能化的特性与月表图像特征处理技术中要求的自主性展现出了一致性。但是，目前主流的机器学习方法，无论是应用于目标检测、或是图像分割领域的机器学习方法，都需要大量的训练数据提供学习。如果可供学习的样本很少，或者图像数据的质量不高，不仅无法达到智能化的检测效果，甚至检测准确度也会大打折扣。在工程应用中，可靠性难以保证。与获取地面图像不同，月球表面图像无法像地面那样利用无人机携带拍摄相机，或是利用导航卫星拍摄高清图像获取大量的地面图像数据，更无法像人脸图像、马路图像那样获得公共可用的数据集。月表图像的获取手段很少，第一种是通过轨道绕飞探测器携带的拍摄像机对月表进行拍摄，这种方式虽然可以获取月表的全图像，但是在成像时却会受到图像尺度变化的影响，只有图像尺寸正常的赤道周围图像适宜使用。同时，由于轨道绕飞探测器距离月表较远，拍摄相机的精度有限，获取的图像中仅能够观察到陨坑、山脉、沟壑等尺寸较大的地形特征，对于岩石块这种尺寸较小的障碍类型，只能够通过第二种方法，即利用着陆后的巡游车对月球地表进行拍摄。月球着陆巡航探测任务仍然十分有限，中国、美国、俄罗斯通过着陆月球的探测器获取了部分月球表面图像 。由于任务数量较少，所获取的月表高质量图像也十分有限，这给月表特征的提取和障碍检测方法研究带来了很大挑战。等 利用带有改进损失函数的 对部分标记的细胞图像进行检测，通过使用 ，用只有部分标记的细胞图像生成完整标记的细胞图像数据，提升了数据的质量，从而提升了检测效果。由于在实践中，目标检测的准确性会受到标记质量的影响，虽然对于一些理想的公共可用数据集，其分类和标签都做得很好，但是在实际情况中，如果数据量很少并且标记不完全或不准确，就会影响目标的检测。在月球着陆过程的障碍检测问题上，月球表面图像的获取难度和成本较高，导致获取的月球表面的图像较少，给障碍检测算法的验证带来了挑战。尽管可以对已有的图像通过光照强度、边缘模糊化等方式进行数据增强，但是数据集过少以及数据集标注质量仍然是需要解决的问题。本文针对月球图像数据较少的问题，通过使用 ，利用已有的月球探测任务拍摄的真实图像，结合利用 工具对障碍进行手动标注，获得障碍与背景分割图像，通过随机生成的分割图像生成新的月球表面图像。障碍特征分割图数据集生成由于没有可供使用的障碍特征分割图数据集，本文的障碍特征分割图数据通过人工标注方法生成，使用的图像包括月球侦查轨道器相机拍摄的图像，提供了分辨率为 像素的全月面成像图。为了缓解图像因远离赤道所表现出的扭曲变形的问题，随机裁剪了尽量靠近赤道的 幅灰度图像。获取障碍特征分割图的方法就是对以上图像中的众多陨坑进行标记。在对图像进行标记的过程中，本文对障碍建立标签，标记过程只考虑图像中肉眼可见的障碍，并且只参考障碍的外轮廓边缘。在对一些阴影很重、影响到障碍的外轮廓边缘进行标记时，会将阴影中影响标记的像素部分也作为障碍进行标注；当多个障碍发生重叠现象时，会只标注障碍最外侧的轮廓。对于图像中的小颗粒和一些有干扰作用的纹路，不进行标记，只将其作为背景的一部分。标记的部分结果如图所示。图月表图像和障碍标注结果 由于手工标注图像样本耗时长，难以满足网络训练需求，本文对图像进行一定处理，来扩充月表的图像样本数据集。同时，考虑到本算法的使用场景，通过对陨坑图像进行垂直翻转、水平翻转、转置、旋转处理，模拟着陆过程中不同的光照角度和拍摄角度，将月表图像的亮度增加和减少，模拟拍摄时月球表面不同的光照强度；在月表图像中加入均值为（像素）、方差为（像素像素）的高斯噪声，模拟光学相机由于温度过高或者月表环境亮度偏低产生的成像噪声。采用数据增强方法，最终得到 幅月表图像。该过程不仅能够大幅扩大数据集的规模，还能在保留月表特征的同时，增加训练样本的多样性，提高网络的泛化能力。基于分割图的图像特征风格匹配本文利用基于对抗生成网络（，）的图像生成器获取与随机生成分割图相匹配的月表图像风格的图片 ，提出一种局域非配对映射的图像生成方法。利用 这种图像翻译模型，实现了从障碍与背景分割图这一种图像域到月球表面拍摄图像的转换。由生成器模型（，）和判别器模型（，）两部分构成，其基本原理如图所示。生成器的输入为随机噪声狕，其训练目标是尽可能生成符合真实分布的数据。判别器的输入是生成器输出的生成样本犌（狕）或真实样本狓，其训练目标是准确辨别输入是生成样本或是真实样本。生成器和判别器的训练是一个动态博弈的过程，生成器在训练过程中以增大判别器的分类损失为目标，而判别器的目标则是减少自身分类损失。因此，生成器在训练时会尽量生成接近真实的样本，使判别器难以辨别。当判别器无法判断数据来源属于哪一类，就认为对抗网络达到了收敛效果。第 期宋婷等：基于 的月表图像数据增强方法 图基本原理示意图 将数据输入判别器中，判别器的输出越接近，说明判别器认为输入数据越接近真实数据。判别器的输出越接近，说明判别器越容易分辨出生成数据。生成器与判别器的动态博弈过程如图所示。图生成器和判别器的博弈过程 是一个经典的基于无监督学习的图像翻译模型 ，其主要优势在于可以对两种风格的图像数据进行一个图像域到另一个图像域的风格转换，图片之间不需要配对，通过学习两个图像域的特征信息，建立域间映射函数，生成匹配输入图像的另一图像域风格的图像。其模型是一个双的架构，原理如图所示，在 中还包含了循环一致性损失的设置，保证图像在转换过程中不丢失特征和映射关系。图 模型示意图 循环一致性原理如图所示，左侧子图表明了源域和目标域样本之间的转换方式。图循环一致性原理示意图 假设源域为犡，目标域为犢，同时训练两个生成器和。其中，犡域的图像通过生成器生成犢域的图像，犢域的图像通过生成器生成犡域的图像。如下所示，生成器和生成器分别对应判别器和，促使生成器产生接近真实的源域和目标域样本。犢犌（狓）（）犡犉（狔）（）中间和右侧的子图解释了循环一致性损失，源域样本狓经过生成器产生目标域图像犢，再将犢输入生成器，得到源域图像狓。为了确保生成器能转换不同域之间的图像，源域样本狓和狓应该相差无几，循环一致性约束如下所示：犉（犌（狓）狓犌（犉（狓）狔烅烄烆（）本文设计的 训练网络的目的是学习障碍与背景分割图像与月球表面图像之间的映射，这种安排由个网络组成：（障碍与背景分割图像到月球表面图像生成器）、（月球表面图像到障碍与背景分割图像生成器）、（针对的判别器）和（针对犛的判别器）。训练的结构框架如图所示，障碍分割图像数据到月球表面图像数据双向生成。架构包括一个具有循环一致性损失的双设置。两个生成器学习月球地表图像（）和障碍与背景分割图（）之间的映射：和：，判别器负责区分真实图像与生成图像，促使生成器生成逼真的月表图像和分割图像。图 训练架构 生成器结构参数在训练架构中，生成器采用卷积 残差 反卷积结构的编码 解码网络 ，输入月表图像或障碍与背景分割图像。首先通过生成器的卷积部分进行下采样，然后用残差部分进行特征提取以及转换，之后通过解码器上采样恢复到原始图像尺寸。以生成器为例，其结构如图所示。系统工程与电子技术第 卷图生成器结构示意图 生成器的网络参数如表所示，表中卷积层参数（狀，犽，狊，狆）分别表示卷积核数量、卷积核尺寸、卷积步长和填充大小，特征参数（犫，犮，犺，狑）分别表示训练批数量、通道数、通道高度、通道宽度。表生成器网络参数表犜 犪 犫 犾 犲犌犲 狀 犲 狉 犪 狋 狅 狉 狊狀 犲 狋 狑狅 狉 犽狆 犪 狉 犪犿犲 狋 犲 狉 狊狋 犪 犫 犾 犲模块卷积块输入特征（犫，犮，犺，狑）卷积层参数（狀，犽，狊，狆）输出特征（犫，犮，犺，狑）输入（，）卷积部分 （，）（，）（，）（，）（，）（，）（，）（，）（，）残差部分 （，）（，）（，）反卷积部分 （，）（，）（，）（，）（，）（，）（，）（，）（，）判别器结构参数传统的判别器是一个全卷积网络，其输出值仅为一个布尔评价值（“真”或“假”），该值是对生成器生成的全幅图像的一个总体评价，而在图像翻译任务中，关注点更多集中于局部细节信息的恢复。本文的 网络采用 判别器结构，图像在 网络中经过卷积层之后，并不会通过全连接层或激活函数输出单一值，而是输出犖犖的矩阵作为对生成图像的评价。该犖犖矩阵中的每个点对应输入图像中的一块区域。相比传统的判别器，显然 可以关注更多的区域细节信息 ，其原理图如图所示，输出矩阵中的绿色点处的值对应的原图区域为蓝色方块区域。图 感受野原理图 本文搭建的判别器采用 的模型架构，对输入的图像进行次卷积得到输出矩阵，实现对区域细节信息的保留。其中，每个卷积块包含一个卷积层、批归一化层和激活函数 ，判别器犖的结构如图所示。图 判别器结构 网络的判别器的输入为大小为 的图像，图像的来源为生成器生成的月表图像或真实拍摄的月表图像，判别器犖的网络参数如表所示。表中卷积层参数（狀，犽，狊，狆）分别表示卷积核数量、卷积核尺寸、卷积步长和填充大小，特征参数（犫，犮，犺，狑）分别表示训练批数量、通道数、通道高度、通道宽度。第 期宋婷等：基于 的月表图像数据增强方法 表犘 犪 狋 犮 犺犌犃犖判别器网络参数犜 犪 犫 犾 犲犘 犪 狋 犮 犺犌犃犖犱 犻 狊 犮 狉 犻 犿 犻 狀 犪 狋 狅 狉狊狀 犲 狋 狑狅 狉 犽狆 犪 狉 犪犿犲 狋 犲 狉 狊卷积层输入特征（犫，犮，犺，狑）卷积层参数（狀，犽，狊，狆）输出特征（犫，犮，犺，狑）网络输入（，）卷积（，）（，）（，）卷积（，）（，）（，）卷积（，）（，）（，）卷积（，）（，）（，）卷积（，）（，）（，）由表可知，判别器输入的原始图像经过层网络输出为一个 的矩阵，矩阵中的每一个点对应原图中的一片区域，即感受野。感受野是卷积神经网络每一层输出的特征图中的像素点在输入图片上映射区域的大小，其计算公式为犻（犻）犻犓 犻（）式中：犻表示第犻层感受野的大小；犻表示当前特征层的层数；是卷积的步长；犓 是本层卷积核的尺寸。根据式（），判别器网络每层特征图的感受野如下：卷积：犽，狊，；卷积：犽，狊，；卷积：犽，狊，；卷积：犽，狊，；卷积：犽，狊，。综上所述，在判别器输出的 矩阵中，每个像素的感受野为，即对应原图中 的图像块，体现了判别器对区域信息的捕捉能力，实现了判别器对区域信息的真实性判断，进而提高了网络的泛化能力。基于损失函数的特征图像质量评判为了生成接近真实分布的合成数据，同时确保生成的月表图像和分割图实现对应，本文设计的 包括对抗性损失项?和循环一致性损失项?。对抗性损失用于匹配翻译样本的分布和目标样本的分布，并且可以用这两个映射函数来表示。循环一致性损失项可以惩罚与源图像的偏差，最终完成对生成图像质量的评判。对于具有判别器的映射犌：犕犖，通过输入真实或者生成的月表图像犖，根据判别器的预测结果，可以计算二值交叉熵（，）损失。其中，利用和犌进行对抗训练来分别最大化和最小化这个损失项。犌的目标为犕犖，可以表示为?（犌，）狀狆 （狀）（狀）犿狆 （犿）（犌（犿）（）式中：生成器的目标是从障碍与背景分割图像中生成月球地表图像，使其与真实月球地表图像无法区分，即犌（犿）狀；判别器的目标是将生成的核图像与真实核图像区分开来。类似犛的目标可以表示为犖犕：?（犛，）犿狆 （犿）（犿）犿狆 （狀）（犛（狀）（）利用循环一致性损失激励犕和犖中样本之间的一对一映射，促进犌和犛向彼此的逆函数演化。?项保证了障碍与背景分割图和月球表面之间的前后平移是无损的，且循环一致，即犛（犌（犿）犿（前向循环一致性），犌（犛（狀）狀（后向循环一致性）。前向循环损失项有助于提高合成月球地表图像的真实感，因为生成的图像不仅要模拟障碍的各个组织部分，而且要模拟障碍物的形态，以便进行分割。可以这样表达目标：?（犌，犛）狀犿狆 （狀）犌（犛（狀）狀犿犿狆 （犿）犛（犌（犿）犿（）式中：代表了前向和后向循环约束的重要性。对于合成数据的生成，放宽了犿项，因为一个随机的障碍与背景分割图可以代表多个有效的月球表面图像。这种随机化也可以视为输入噪声，有助于生成合成图像的多样性。生成器的作用是当输入分割图时，能够生成对应的月表图像。为了确保具有生成月球表面风格图像的能力，当输入月表图像时，应该生成与输入基本相同的月表图像。因此犌（狀）和狀应该尽可能接近，需要添加 损失函数，如下所示：?（犌，犛）狀狆 （狔）犌（狀）狀犿狆 （狓）犛（犿）犿（）如果不添加该损失函数，那么生成器可能会自主地修改图像的色调，使得整体的颜色产生变化。因此，合成数据生成的完整目标可以写为 犌，犛 ，?（犌，）?（犛，）?（犌，犛）?（犌，犛）（）仿真结果分析本文选取月球绕飞轨道器拍摄月球地表图像，与通过 手动标注并处理后获取的障碍与背景分割图进行训练和测试，包含的第一类图像是月球地表图像犖，这部分图像包括了月球侦查轨道器相机拍摄的全月面图像的部分截图。另一类使用 工具标注处理后获取的与真实图像对应的障碍与背景分割图像犕如图 所示。图 训练数据集 系统工程与电子技术第 卷本文使用一个 图形处理器进行网络训练，版本为 ，程序基于 深度学习框架编写。将批大小设置为，确保在显存容量足够的情况下对 进行训练。使用 优化器进行优化，其可以通过动量和自适应学习率优化网络收敛速度，参数设置为，。初始学习率设为 ，训练 个轮次之后，学习率逐步下降到，总共训练 个轮次。在训练完成后，利用测试集中的图像与图像分割图进行生成图像实验，以人工标注获取的障碍与背景分割图作为网络的输入，输出生成的月表图像，并将其与真实拍摄的图像进行对比，部分生成结果如图 所示。图 生成图像与真实图像的对比结果 图像中的障碍特征区域基本与输入的障碍与背景分割图像相匹配，已经与真实的拍摄图像十分接近，成功将障碍与背景图像转换为相匹配的月球地表风格的图像。如果输入的是随机生成的障碍与背景分割图像，就可以生成全新的月球地表图像，因此可以利用该方法，人工定义障碍存在的区域和障碍的具体位置与尺寸，并绘制障碍与背景的分割图像，利用 生成相匹配的月表风格的图像，如图 所示。本文提出的数据增强方法一方面可以为障碍检测算法提供新的图像数据，从一定程度上缓解月表先验图像过少的问题。另一方面，生成的月表图像还可以应用于其他基于被动视觉方法的障碍规避算法的验证。图 随机绘制障碍背景分割图与生成图像 本文用未进行数据增强的图像数据进行训练，获取障碍检测结果，与数据增强后的图像数据训练获得的障碍检测结果进行对比。本文采用了语义分割中常用的评价指标，即准确率犃、查准率犘、查全率犚和犉分数，对障碍检测网络的分割结果进行评估。上述指标的计算公式分别为犃犜犘犜犘犜犘犜犖犉犘犉犖 （）犘犜犘犜犘犉犘 （）犚犜犘犜犘犉犖 （）犉犘犚犘犚 （）式中：犜犘、犉犘、犜犖、犉犖分别代表检测到的正确障碍像素数目、未检测到的障碍像素数目、检测到的非障碍像素数目、未检测到的非障碍像素数目。准确率、查准率、查全率、犉分数如表所示。第 期宋婷等：基于 的月表图像数据增强方法 表图像数据增强前后的障碍检测结果犜 犪 犫 犾 犲犗犫 狊 狋 犪 犮 犾 犲犱 犲 狋 犲 犮 狋 犻 狅 狀狉 犲 狊 狌 犾 狋 狊犫 犲 犳 狅 狉 犲犪 狀 犱犪 犳 狋 犲 狉犻 犿犪 犵 犲犱 犪 狋 犪犲 狀 犺 犪 狀 犮 犲犿犲 狀 狋评价指标 轨道拍摄器拍摄图像 轨道拍摄器拍摄图像 准确率 查准率 查全率 犉分数 由表中的检测结果可得经过数据增强的图像数据，训练获得的障碍检测结果获得了明显提升，证明了本文方法对月表先验图像数据增强的有效性。结论本文针对月球表面先验图像信息获取困难的问题，设计了一种基于对抗神经网络的月球表面图像生成框架。首先，分析了月球先验图像获取的难点，列举了对障碍特征标注过程中出现的问题，并说明针对这些问题采用的标注原则，利用对月表图像的障碍标注结果获取与月表图像相匹配的障碍与背景分割图像；然后，利用拍摄获得的真实月表图像以及通过人工标注获取的障碍与背景图像作为训练数据，设计基于对抗神经网络的月表图像生成模型，通过对数据集的训练，可以使用新的障碍与背景分割图像生成与之相匹配的月球表面风格的图像，其在测试集上的生成效果与真实图像十分接近，通过本文方法也可以提升障碍检测的性能，可以使用该生成架构进行先验月表图像数据增强。参考文献崔平远，高艾，朱圣英深空探测器自主导航与制导北京：中国宇航出版社，：，：，：宁晓琳，蔡洪炜，吴伟仁，等月球车的惯性天文组合导航新方法系统工程与电子技术，（）：，（）：吴伟仁，于登云深空探测发展与未来关键技术深空探测学报（中英文），（）：，（）：于正，崔平远行星着陆自主导航与制导控制研究现状与趋势深空探测学报，（）：，（）：，（）：，：，：，：，：陈坤，王璐，储臖月球表面图像的 特征提取与匹配计算机与现代化，（）：，（）：，欧阳自远月球探测的进展与中国的月球探测地质科技情报，（）：，（）：秦同，朱圣英，崔平远，等行星着陆动力下降段相对视觉导航方法宇航学报，（）：，（）：，（）：，（）：，：，：，（）：，：，：，：，系统工程与电子技术第 卷 ，（）：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，（）：作者简介宋婷（），女，高级工程师，博士研究生，主要研究方向为航天器规划与控制。兀泽朝（），男，助理工程师，硕士，主要研究方向为飞行器自主导航、制导与控制。高艾（），女，教授，博士，主要研究方向为航天器自主导航与制导控制。袁建平（），男，教授，博士，主要研究方向为航天器动力学。