基于条件生成对抗模型的遥感卫星影像重建技术研究.pdf

第 44 卷第 5 期2023 年 9 月Vol.44,No.5Sept.2023遥 测 遥 控Journal of Telemetry,Tracking and CommandWebsite：基于条件生成对抗模型的遥感卫星影像重建技术研究李育恒1，刘文佳2，张敏1，原昊1，张鹏宇1，冯舒文1（1 北京遥测技术研究所 北京 100076；2 中国航天电子技术研究院 北京 100094）摘要：为了快速侦察未知区域的地貌信息，遥感卫星可对特定区域进行扫描以获取遥感卫星影像。当卫星经过国外未知区域时，部分卫星无法针对某特定区域进行长时间的驻留扫描，本文提出一种基于条件生成对抗网络模型（Conditional Generative Adversarial Network，CGAN）进行网络训练，前期将某方法获取的区域轮廓地形信息作为CGAN网络的生成网络和鉴别网络中的条件约束信息，通过网络生成器与判别器在训练过程中互相博弈产生特定的输出集，有效地实现由单张电子轮廓图像到对应卫星遥感图像的端到端的非线性映射。本文通过原真实卫星遥感图像与生成卫星遥感图像进行四种对比误差计算，平均误差、均方误差与结构相似度均高于99%，峰值信噪比高于30 dB，生成的图像与原图像之间具备高相似度，实现了在获取坐标定位轮廓信息的先验条件下，对特定区域进行遥感卫星影像内容重建技术。关键词：遥感卫星影像；区域轮廓地形信息；条件生成对抗网络；影像重建技术中图分类号：TP75;TP18 文献标志码：A 文章编号：2095-1000(2023)05-0084-15DOI：10.12347/j.ycyk.20230612001引用格式：李育恒，刘文佳，张敏，等.基于条件生成对抗模型的遥感卫星影像重建技术研究 J.遥测遥控，2023，44（5）：8498.Research on remote sensing satellite image reconstruction technology based on conditional generation confrontation modelLI Yuheng1，LIU Wenjia2，ZHANG Min1，YUAN Hao1，ZHANG Pengyu1，FENG Shuwen1（1.Beijing Research Institute of Telemetry,Beijing 100076,China;2.China Aerospace Electronics Technology Research Institute,Beijing 100094,China）Abstract:In order to quickly detect the geomorphic information in unknown areas,remote sensing satellites can scan specific areas to obtain remote sensing satellite images.When satellites pass through foreign areas,some satellites are unable to perform long-term resident scanning for a specific area.This paper proposes a Conditional Generative Adversarial Network(CGAN)for network training.In the early stage,the terrain information obtained by a certain method is used as the conditional constraint information in the CGAN networks generation network and identification network,through the mutual game between the network generator and discriminator during the training process,a specific output set is generated,effectively achieve end-to-end nonlinear mapping from a single electronic contour image to the corresponding satellite remote sensing image.This article compares four types of error calculations between the original real satellite remote sensing image and the generated satellite remote sensing image.The average error,mean square error,and structural similarity SSIM are all higher than 99%,and the peak signal-to-noise ratio is higher than 30 dB.The generated image has high similarity with the original image,achieve the reconstruction technology of remote sensing satellite image content in specific areas under the prior condition of obtaining coordinate positioning contour information.Keywords:Remote sensing satellite image;Regional contour terrain information;Conditional generation adversarial network;Image reconstruction technologyCitation:LI Yuheng,LIU Wenjia,ZHANG Min,et al.Research on remote sensing satellite image reconstruction technology based on conditional generation confrontation modelJ.Journal of Telemetry,Tracking and Command,2023,44(5):8498.基金项目：“十四五”装备预先研究专业技术（30601010201）收稿日期：2023-06-12 修回日期：2023-06-272023 年 9 月遥 测 遥 控引 言遥感卫星主要由天基侦察卫星、测控系统、地面应用系统及数据传输系统组成，实现对特定区域内遥感信息的收集、存储、传输及分析，具备大面积同步观测、多尺度信息侦察、周期性覆盖等特点1，在支撑决策、筹划等方面发挥着不可替代的使用价值。随着我国遥感卫星系统的不断发展，其技术核心逐渐演变为卫星遥感技术，产生的高分遥感影像数据逐渐进入“高分时代”，成为遥感影像分析领域的重要基础2。当遥感卫星对某特定区域进行扫描以获取各类环境信息时，由于其过境速度较快，某些区域无法长时间驻留，导致遥感卫星缺乏对该区域进行长时间的扫描能力。本文利用条件生成对抗网络模型的思想，通过生成对抗网络模型(Generative Adversarial Networks，GAN)生成网络和鉴别网络中添加条件性的约束，来解决训练过于自由的问题，实现由单张区域电子轮廓信息图像到对应卫星遥感图像的端到端的非线性映射。在获取了坐标定位轮廓信息的先验条件下，实现对特定区域生成卫星地图预测的遥感影像，辅助预测区域内地理形势，掌握特定区域地貌情况。1生成对抗网络在遥感影像分析领域，国内外研究机构主要开展一系列常规图像处理算法研究，例如基于图像数据增强、多源信息融合3、重点目标区域地物分割、特定敏感目标跟踪识别4,5、高分辨率影像重建处理6等。随着人工智能在图像领域的高速发展，深度学习逐渐被引入遥感影像数据处理中7,8。主流算法包含深度卷积网络模型(Convolutional Neural Networks，CNN)、生成对抗网络模型等。在快速获取国外未知区域(如地势地理信息、建筑区域分布等)的战场信息时，需要根据大量遥感影像的内容分布概率，模拟遥感数据的分布规律，从而生成采样样本。对遥感影像数据常引入机器学习算法进行分析，机器学习算法也分为监督学习和无监督学习9。监督学习依赖于已知带标记的数据，其网络结构可根据标签进行特征计算。但目前的数据标签工作多基于手工标注等手段，存在人力成本较高、标注工作量较大、硬件算力较高的缺点10。但GAN网络的训练模型计算不需对已获得的遥感影像数据进行人工标记，能减少人力成本，大幅减少前期数据处理的工作量。随着对GAN网络模型的深入研究，逐渐发现其训练模型结构使得生成目标的可控性较弱，无法生成具有特定性质的图像，将产生大量与需求无关的图像集，其收敛时间不确定，网络训练成为了一个漫长的过程11。在实际应用场景中，遥感卫星已掌握了部分由其他手段获取的某特定区域轮廓信息，可将此信息作为约束条件添加至条件生成对抗网络模型中，避免了GAN模型在进行网络训练时，在类别上的随机性中产生大量与需求无关的图像结果。1.1模型介绍传统的生成模型由于泛化性较弱，通常需要计算复杂的马尔科夫链，严重地影响了网络性能与生成结果。2014年，Goodfellow等人12创新性地引入了生成模型领域的概念，即生成对抗网络。该网络可以不明确生成模型的分布，仅仅利用真实数据模拟数据分布，利用深度神经网络模拟生成分布，联合两个神经网络进行对抗训练，避免传统的生成模型带来的复杂概率计算，完成类似图像的生成任务，极大地提升了网络计算能力与图像生成逼真程度。GAN 网络包含了生成器(G 模型)和判别器(D模型)两个部分。其中，生成器负责捕捉训练样本数据的分布规律，将产生的样本和真实样本共同输入至判别器中；判别器是一个二分类器，需要对真实样本和虚假样本准确分辨13。生成器与判别器之间的交替迭代在本质上是一个“二元极小极大博弈”问题，在训练时，首先固定其中一方模型(判别器或生成器)，再更新另一个模型的参数，最终生成的模型则能够估测出样本数据的分布14。优化的目标函数定位为min(G)max(D)的形式：minGmaxDV(DG)=ExPdatalogD(x)+EzPz(x)log(1-D(G(z)(1)生成器(G模型)的输入为随机噪声z，输出是与训练数据具备相同结构的样本G(z)。真实训练集样本x与G(z)是判别器(D模型)的接收数据。再对样本进行分类：当输入样本为G(z)时，其标签为0；当输入为真实样本x时，其标签为1。D(x)为x的真实数据分布Pdata，当G与D有足够的学习能力85第 44 卷第 5 期李育恒等，基于条件生成对抗模型的遥感卫星影像重建技术研究后，给定G、D可以达到最优解，当随机噪声的概率分布Pg的数据标签为0时，更新优化后使得Pg收敛于Pdata。maxD(DG)=ExPdatalogD*G(x)+ExPglog(1-D*G(x)(2)在优化过程中，由于训练数据有限，只进行D模型优化会导致网络过度拟合，使得网络模型无法收敛。因此，D与G需要交替迭代，迭代过程中学习样本数据的分布，生成与真实样本数据相似度逼真的伪样本15。图 1为 GAN网络模型的基本结构示意图。1.2GAN网络模型的特点GAN网络作为目前的主流网络模型，主要有以下优势：GAN模型在优化过程中，不需要计算复杂的马尔科夫链，仅利用反向传播，极大地提高网络训练速度；同时，不需要对隐变量进行推断，大大降低了网络训练的难度；另一方面，为了减少网络训练的参数数量，保持模型训练精度，加快收敛速度，G参数的更新不来自于真实样本，可直接使用来自 D 的误差反向传播更新。尽管GAN有许多优点，但其生成模型的分布Pg(G)没有显式表达，导致GAN网络的可解释性差；寻找纳什平衡解也使得网络难以训练，由于两个网络需要高同步性，很容易出现判别器D收敛、生成器G发散的现象；当GAN网络中的判别器D始终将正确判断真实样本为真和生成样本为假，生成器 G生成的样本逼近度高时，将产生梯度消失现象16。1.3GAN模型发展及衍生模型GAN网络始终存在着难训练、不稳定以及存在网络模型崩溃的缺点。当基于初始条件的随机性数据的相关性从0开始逐渐提升后，GAN的模型结构使生成目标的可控性不强，无法生成具有特定性质的图像，将产生大量与需求无关的图像集，并且其提升的速度与最终可达到的效果并没有一个直接测量的标准。受上述工作启发，根据已获取的电子地图轮廓信息，本文提出一种基于条件生成对抗网络的方法，通过在GAN网络的生成网络和鉴别网络中添加条件性的约束 c，来解决训练过于自由的问题，实现由单张区域电子轮廓信息图像到对应卫星遥感图像的端到端的非线性映射。2条件生成对抗网络Mirza M等人17提出了条件生成对抗模型，是有条件地监督生成器生成数据的网络。在GAN网络模型中添加约束条件，提供了一个附加标签来改变GAN网络的生成器，以真实图像和标签作为判别器的输入数据，使得网络训练能够朝着约束条件方向生成样本，CGAN训练的目标函数如下所示：minGmaxDV(DG)=ExPdatalogD(x|c)+EzPz(z)log(1-D(G(z|c)(3)从目标函数可以看到，CGAN网络与GAN网络模型的差异仅是在输入时引入条件约束变量c，然而CGAN模型的生成器G能够生成条件约束变量c的对应数据，使得 D与 G之间产生更好的同步，更能快速及高效地完成网络训练图像生成任务。2.1CGAN网络结构条件生成对抗模型中，生成器的输入与判别器的输入中均加入条件c，此c是类别标签，也可以是其他类型的任何数据，能够在指定类别直接获得数据18。生成网络接收为随机噪声z和加入的约束条件c，CGAN模型中，生成器G与判别器D的输入数据存在强关联性，避免了随机噪声产生的无关性。图2为CGAN模型的结构示意图。2.1.1生成网络在条件对抗网络训练过程中，生成器主要采用了U-Net模型，U-Net是Ronneberger等人19提出一种基于FCN扩展的网络模型结构，采用了U型结构能够准确评估图像特征的位置坐标，解决由于下采样时丢失的图像细节损失问题。U-Net模型中，主要利用编码与解码的思路提取图像信息的下采样过程和还原图像信息的上采样过程20，链接图1GAN网络模型的基本结构示意图Fig.1Schematic diagram of the basic structure of the GAN network model862023 年 9 月遥 测 遥 控块由5层残差网络组成，能够对图像间相似特征进行提取和组合。与传统的编码解码模型不同的是，U-Net结构中引入了跳跃连接，减轻梯度信息无法传递至浅层网络引起的梯度消失问题，缓解解码时的信息冗余。图3为生成器结构示意图，表1为生成模型结构组成。在编码过程中，模型中主要引入批处理归一化层和LeakyRelu激活函数。批处理归一化目的是提高网络模型的泛化能力，防止在训练过程中进入过拟合状态；LeakyRelu激活函数是为了加速网络收敛。在解码过程中，模型主要采用批处理归一化层和 LeakyRelu激活函数，同时加入 Dropout操作，防止网络数据冗余，加快了网络训练速度21。最终，输出经过 tanh 函数处理后的生成图像。2.1.2判别网络CGAN 网络的判别器用于鉴别所生成的图像数据和正常清晰图像，将生成数据与真实数据进行区分，判别图像的真假22。本文所使用的判别网络是一个5层卷积的二分类模型，在进行5层卷积操作后通过sigmoid函数处理，最后将结果归一化为(0，1)区间。当输出的结果为0.5，判别器无法判别生成器所生成的图像；当判别器的输出在(0.5，1)区间内，判别输入的图像为真；反之，则判别输入的图像为假。图4为判别器结构，表2为判别模型结构组成。2.1.3损失函数损失函数是用来评价 CGAN网络模型预测数据与真实数据不一样的程度，当损失函数结果越好时，CGAN网络的性能和鲁棒性越好23。计算损失函数时，在CGAN网络的生成器上引入一个重图3生成器结构示意图Fig.3Schematic diagram of the generator structure表1生成模型结构组成Table 1Generate model structure composition网络结构77卷积层33卷积层，步长为233卷积层，步长为2残差块残差块转置卷积层，步长为2转置卷积层，步长为277卷积层tanh函数卷积核个数6412825625625612812864图4判别器结构Fig.4Discriminator structure表 2判别模型结构组成Table 2Discriminant model structure composition网络结构44卷积层，步长为244卷积层，步长为244卷积层，步长为244卷积层，步长为144卷积层，步长为1卷积核个数641282565121图2CGAN模型Fig.2CGAN model87第 44 卷第 5 期李育恒等，基于条件生成对抗模型的遥感卫星影像重建技术研究建损失Lr(网络输出图像与原始图像间的L2距离)：Lr=max(f(xi)-f(x)22+0)(4)式中，f(x)为原始图像，f(xi)为生成图像，超参数的目的是为拉大原始图像与生成图像的距离。带有监督信号y条件下，D(x|c)为真实样本c通过判别器D后的输出。D(G(z|c)表示生成图像G(z|c)通过判别器D的输出24。在CGAN网络的两个判别网络中，D1与D2具有相同的损失函数定义，以上的各种损失函数加权和为综合损失函数：L=Lr+1LD1+2LD2(5)式中，1与2是为了平衡不同损失的权重。2.2CGAN算法流程设计在 CGAN网络进行训练时，首先将已获取的电子轮廓及对应的标签图作为输入，生成器使用U-NET结构，主要由8个卷积层和8个反卷积层组成，将接收的训练轮廓图通过8个反卷积层进行卷积计算。设计卷积层的卷积核为4,4，nin，nout，其中nin为输入通道数，nout为输出的通道数，卷积移动步长均设置为2。每个卷积层均使用了批归一化处理方法，使用 Leaky ReLU 函数作为激活函数，以增强网络模型的收敛性能。生成器接收输入图像的尺寸为2562563，网络各卷积层输出特征图尺 寸 为：12812864、6464128、3232256、1616512、88512、44512、22512、11512。在反卷积结构中，采用的U-Net网络使用的反卷积核尺寸为4,4，nin，nout，步长设置为2，该过程使用了ReLU作为其激活函数，同时将每一个反卷积层的输出与对应的卷积层输出做拼接计算，在最后一层反卷积中使用了tanh激活函数。设计判别器采用5个卷积层配合Sigmoid层的网络结构，每个卷积层中使用的卷积核均为4,4，nin，nout，前3层设置步长为2，后2层设置步长为1，每层均使用了批归一化处理与Leaky ReLU激活函数。其接收的数据为输入图像与标签在通道维度上进行拼接计算后的结果。各层输出的特征图大小分别为：12812864、6464128、3232256、3232256、32321。CGAN中的条件指的是image参数，在生成器的输入中，随机噪声已被删除，仅保留输入的条件；在判别器输入中，条件与待判别的图像进行了拼接，图5为遥感卫星影像重建的CGAN训练过程算法流程图。3网络环境与实验设置3.1数据准备本文使用的电子与卫星遥感数据集由水经微图软件生成，数据源为百度地图，面积约为85.56平方千米，空间分辨率：1米/像素。每幅图像的大小为1 159像素932像素。图6为部分训练集与测试集样本，表3为遥感影像训练/测试样本集。图5遥感卫星影像重建的CGAN训练过程Fig.5CGAN training process reconstructed by remote sensing satellite imagery图 6部分训练集与测试集样本数据Fig.6Sample data for some training and test sets882023 年 9 月遥 测 遥 控3.2CGAN网络训练步骤该网络的目的是在训练过程中获得条件生成对抗网络的生成器，即G模型。首先将 138组真实卫星遥感数据与其对应的电子轮廓信息标签图，分为A组和B组，并且A组中的实物图与B组中的标签图进行一一对应，图像需设置相同名称。再将B组图中的数据置标签为1，输入至判别器中(残差网络ResNet模型)。将B组中每一批图像对应的组的一组图像，输入至生成器中(U-Net网络模型)，设置数据标签置为0后送入判别器(ResNet网络模型)。一系列训练前的数据处理，是为了满足生成器的输入数据与判别器的输入数据存在相关性。在网络训练过程前，再将 138张电子轮廓地图与对应的138张卫星遥感地图进行裁剪，数据预处理时，由于该研究中采用的生成模型为U-Net 256 网络模型，需要将图片尺寸调整为 256256。完成上述工作后，对 CGAN 网络模型开始进行训练。3.3评估指标在图像相似度客观评价中，本文采用均方误差(Mean Squared Error，MSE)、平方根误差(Root Mean Squred Error，RMSE)进行像素值计算评估；峰值信噪比(Peak Signal Noise Ratio，PSNR)、结构相似度(Structural Similarity Index，SSIM)作为指标来说明CGAN网络算法的性能。MSE为预测数据偏离的真实值距离平方和的平均数，是图像像素值的平方误差。RMSE是图像像素值的平方根误差。PSNR是数据处理后的图像品质评估指标，衡量背景噪声与图像的最大值信号之间的图像质量参考值，是原图像与生成图像之间的均方误差相对于(2n-1)2的对数值，n为每个采样值的比特数，其指标单位为dB，当结果值越大时，则生成的图像质量越高25。一般情况下，PSNR的值大于30 dB时，说明原图像与生成图像之间不存在明显差异，能够保证图像的真实性与自然性。PSNR 的定义如下所示。PSNR=10log10(2n-1)2MSE(6)SSIM是衡量原图与生成图之间相似程度的指标，图像之间的结构相似性可看作为失真样本数据的品质质量指标。以(xy)为输入信号，SSIM定义如下所示。其取值范围为0,1，当结果越大时，两图之间相似性越高。ISSIM(xy)=l(xy)c(xy)s(xy)=(2xy+c1)(2xy+c2)(2x+2y+c1)(2x+2y+c2)(7)4实验结果与数据分析4.1不同网络算法性能对比4.1.1Pix2Pix与CGAN模型结构差异在前期训练中，本文使用了 CGAN模型的两种不同算法模型进行了训练，其中为CGAN常规网络模型，训练中L1_Loss前的乘数为0.0；为了用来转换成对的输入图像样本数据，Isola等人26提出了基于CGAN的有监督学习模型(Pix2pixGAN)，通过学习从输入图像到输出图像的映射，完成学习损失函数来训练该映射的能力，Pix2Pix为基于CGAN 网络实现的一种深度学习图像转换模型，能够实现语义及标签至真实影像、灰色影像至彩色影像、航空图至地图、线稿图至实物图的转换，是CGAN模型用于半监督的图像至图像翻译的经典模型。在传统算法上，此类模型任务目标的生成都是以像素预测像素，利用单独专用机器进行处理，然而，Pix2Pix网络使用相同的架构与目标，作为一个通用型框架在不同数据上进行训练。其生成器不是将随机噪声映射至每张图像上，而是将图像映射至同一图像上的另一种表示，是图像翻译任务，此框架因此被命名为“Pix2Pix”。生成器结构对比生成器使用的架构为U-Net网络结构，CGAN网络的生成器 U-Net架构为 U-Net 572，本文使用的Pix2Pix网络的生成器结构为U-Net 256，唯一区别是输入图像大小与输出图像大小尺寸不同。判别器结构对比在Pix2Pix网络和CGAN中，判别器依然为一表3遥感影像训练/测试样本集Table 3Remote sensing image training/test sample set数据类型训练集测试集电子地图1385卫星地图138589第 44 卷第 5 期李育恒等，基于条件生成对抗模型的遥感卫星影像重建技术研究个二进制卷积神经网络，两者的差距为：Pix2Pix网络的判别器不仅以被判别的图像作为了输入，同时也将条件图像x作为了输入，输入为6通道，其中3个通道作为检查图像，3个用于条件图像。针对上述两种典型模型，本文在网络训练前进行了不同算法验证，分别对CGAN常规网络及CGAN网络中的Pix2Pix典型结构进行了测试对比，对比情况如下。4.1.2Pix2Pix与CGAN模型测试结果为了选取最佳网络结构进行算法训练，本文将 CGAN 常规网络及 CGAN 网络中的 Pix2Pix 典型结构设置超参进行训练，训练次数均固定为100次，训练输入数据为相同数据，图7为CGAN常规网络训练迭代次数为 100 时的测试结果，图 8为 Pix2Pix网络训练迭代次数为 100时的测试结果。如图7与图8展示的测试结果所示，Pix2Pix网络训练迭代次数为100时的测试结果的图像预测程度更好。对CGAN与Pix2Pix网络分别计算测试数据的RMSE误差与PSNR值。图9为CGAN与Pix2-Pix 的测试 RMSE 误差，图 10 为 CGAN 与 Pix2Pix测试PSNR值。由图 9及图 10可知，在网络迭代训练次数均为100次时，CGAN常规网络训练后测试数据的均方误差在38以上，而Pix2Pix网络训练下的测试数据计算均方误差均在10以内；CGAN常规网络训练后测试数据的峰值信噪比在 15 dB 附近，而Pix2Pix网络训练下的峰值信噪比在30 dB上下。图7CGAN常规网络训练迭代次数为100时的测试结果Fig.7Test results of CGAN conventional network training with 100 iterations图8Pix2Pix网络训练迭代次数为100时的测试结果Fig.8Test results of Pix2Pix conventional network training with 100 iterations图9CGAN与Pix2Pix的测试RMSE误差Fig.9Testing RMSE error of CGAN and Pix2Pix network图10CGAN与Pix2Pix的测试PSNR值Fig.10Testing PSNR of CGAN and Pix2Pix network902023 年 9 月遥 测 遥 控因此，经过测试结果数据误差分析，无论是均方误差还是峰值信噪比，Pix2Pix网络训练下的效果均优于CGAN常规网络，在后续的数据训练中，本文均选用Pix2Pix典型网络进行训练及数据分析。4.2网络训练过程效果分析随着 CGAN网络训练迭代次数增加，网络的每次循环会先经过生成模型生成输出，然后判别模型进行判别，再利用生成模型与判别模型的输出结果，计算生成损失与判别损失。在CGAN网络训练过程中，网络训练的超参数影响着网络的训练速度与训练效果；在设计学习率时，考虑到学习率控制着训练网络梯度更新的两级，能够直接影响训练网络模型的容限能力。若设置过高的学习率，将导致损失函数出现震荡，无法收敛于最优解27。本文在设置训练实验参数时，学习率设置为lr=0.000 1，Adam优化器28设置为1=0.5，训练中每过 100 step 保存模型(可训练参数)，训练中GAN_Loss前的乘数为1.0。4.2.1训练过程中网络损失函数值分析图11与图12分别为CGAN判别器与生成器的损失函数变化情况。利用 CGAN 网络训练迭代3 000次后，判别器损失函数收敛于1.385，生成器损失函数收敛于4.898。从图中可以看出，在网络训练初期，0500次之间生成器与判别器的振荡较大，说明在训练前期，两个网络结构互相对抗。此时，生成器网络性能较差，判别器能够快速地区分出真实样本与生成样本。随着训练次数增加，epoch由500训练至3 000次，损失函数值逐渐稳定，模型开始趋于稳定，生成器生成的样本数据与真实数据之间差距越来越小，判别器与生成器达到“纳什平衡”状态，说明判别器开始无法正确区分真实样本与生成样本。由损失函数值对比可见，条件生成网络模型训练过程中，生成器的损失函数逐渐降低，最终在稳定值附近小范围震荡；判别器的损失函数逐渐升高，最终损失函数在稳定值附近小范围震荡。模型损失函数的总体变化趋势都处于下降状态，最终趋于稳定。4.2.2训练过程中网络计算复杂度分析为了计算本算法模型的计算复杂度，将已训练次数为3 000次的权重meta文件中加载网络训练模型，保留生成器与判别器网络结构，读取每层对应的模型参数量，将meta训练模型可视化，计算网络的总参数量为57 279 588，其中，生成器的参数量是54 415 104；判别器的参数量是2 768 640。训练网络计算复杂度分析如表4所示。空间复杂度决定了模型的参数数量，由于维度造成的限制，网络训练中参数量越多，导致模型所需的数据量就越大。在进行网络训练时，准备过少的训练集对比模型巨大的参数量，使得网络训练模型容易过拟合。4.2.3训练过程中生成结果评价指标分析在训练过程中，本文保留了训练过程中的生成样本图像，并与电子轮廓信息及真实卫星遥感图 11CGAN生成器损失函数变化情况Fig.11Changes in the lass function of the CGAN generator图 12CGAN判别器损失函数变化情况Fig.12Changes in the loss function of the CGAN discriminator91第 44 卷第 5 期李育恒等，基于条件生成对抗模型的遥感卫星影像重建技术研究影像进行了拼接图像。因此，为了对比在不同训练次数下生成样本图像的真实性，通过引入MSE、RMSE、PSNR及SSIM四个指标，对3 000次训练过程进行误差计算。网络训练不同阶段的具体数据误差统计表如表5所示。由表5可知，随着网络训练迭代次数的增加，平均误差值MSE由50次迭代的236.10下降至498次的47.46，训练次数差值接近450次，平均误差下降至80%；均方平均误差值也由15.37下降至6.89。CGAN网络在制作数据集循环训练时，保存了可视化输出效果，图13为CGAN网络训练次数增加下测试集影像可视化结果。从图14、图15、图16及图17中CGAN网络训练过程中MSE、PSNR、RMSE、SSIM变化可知，网络训练次数增加后，在同一张测试集上可体现为生成的真实度逐渐提高。随着网络训练次数增加，网络训练生成的图像与真实图像误差越来越小；峰值信噪比PSNR由24.40 dB增加至31.37 dB，表4训练网络计算复杂度分析Table 4Computional complexity analysis of training networkModelgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgenerator 网络的总参数量是：57 279 588 生成器的参数量是：54 415 104 判别器的参数量是：2 768 640Layer(type)g_e1_convg_bn_e1g_e2_convg_bn_e2g_e3_convg_bn_e3g_e4_convg_bn_e4g_e5_convg_bn_e5g_e6_convg_bn_e6g_e7_convg_bn_e7g_e8_convg_bn_e8g_d1g_bn_d1g_d2Output Shape(4,4,3,64)(64)(4,4,64,128)(128)(4,4,128,256)(256)(4,4,256,512)(512)(4,4,512,512)(512)(4,4,512,512)(512)(4,4,512,512)(512)(4,4,512,512)(512)(4,4,512,512)(512)(4,4,512,124)Param#72647212852 48825697 15251241 94351241 94351241 94351241 94351241 94351283 886ModelgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratorgeneratordiscriminatordiscriminatordiscriminatordiscriminatordiscriminatordiscriminatordiscriminatorLayer(type)g_bn_d2g_d3g_bn_d3g_d4g_bn_d4g_d5g_bn_d5g_d6g_bn_d6g_d7g_bn_d7g_d8d_h0_convd_bn1d_h2_convd_bn2d_h3_convd_bn3d_h4_convOutput Shape(512)(4,4,512,124)(512)(4,4,512,124)(512)(4,4,256,124)(256)(4,4,128,512)(128)(4,4,64,256)(64)(4,4,3,128)(4,4,6,64)(128)(4,4,128,256)(256)(4,4,256,512)(512)(4,4,512,1)Param#51283 88651283 88651241 94325648 576128262 144646 1446 144128524 28825697 1525128 192表5网络训练不同阶段的数据误差统计表Table 5Data error statistics table at different stages of network training误差MSE_valueMSE_perRMSE_valueRMSE_perPSNR/dBSSIM训练次数50236.1099.64%15.3793.97%24.4098.68%80146.0999.78%12.0995.26%26.4899.16%120104.5699.84%10.2395.99%27.9499.34%16090.3199.86%9.5096.27%28.5799.38%20085.5299.87%9.2596.37%28.8199.40%24074.0099.89%8.6096.63%29.4499.45%33068.4499.89%8.2796.76%29.7899.46%38056.9199.91%7.5497.04%30.5899.51%45056.2399.91%7.5097.06%30.6399.51%49847.4699.93%6.8997.30%31.3799.54%922023 年 9 月遥 测 遥 控当PSNR的值大于3