基于深度学习的无人机航拍图像超分辨率提升算法.pdf

无人系统技术Unmanned Systems Technology第6卷 第5期2023年10月Vol.6 No.5October 2023基于深度学习的无人机航拍图像超分辨率提升算法董振龙1，李昂2*，周凯2，张庆杰2，徐亮2（1.中国人民解放军95894部队，北京102211；2.中国人民解放军空军航空大学，吉林130022）摘要：针对当前无人机航拍图像普遍存在图像细节模糊以及分辨率低的问题，提出了面向无人机航拍场景的图像超分辨率算法。首先，提出一种可学习的图像下采样模型进行训练数据的生成，从而有效模拟了真实场景下的低分辨率无人机航拍图像的数据特征。其次，结合无人机平台的现实需求，提出一种基于知识蒸馏的轻量化图像超分辨率网络，有效提升了模型的泛化性能和时间效率。实验表明，该算法在真实无人机航拍图像数据集上的性能不仅超过现有通用图像超分辨率算法，同时还进一步缩减了网络模型大小和处理时间，有效满足无人机平台的硬件约束和实时性要求，对于无人机航拍图像处理具有重要应用价值。关键词：无人机航拍图像；超分辨率算法；知识蒸馏；深度学习；轻量化网络中图分类号：TP391 文献标识码：A 文章编号：2096-5915（2023）05-040-10DOI：10.19942/j.issn.2096-5915.2023.05.47Super Resolution Improvement Algorithm of UAV Aerial Image Based on Deep LearningDONG Zhenlong1，LI Ang2*，ZHOU Kai2，ZHANG Qingjie2，XU Liang2（1.95894 PLA Troops，Beijing 102211，China；2.Aviation University of Air Force，Changchun 130022，China）Abstract:This paper presents an image super-resolution algorithm for UAV aerial images to solve the problem of low resolution in aerial intelligence images of UAVs seriously.Firstly,a learnable sub-image sampling model is proposed to generate training data,which effectively simulates the data characteristics of low-resolution drone aerial images in real scenes.At the same time,an image super-resolution network based on knowledge distillation is proposed.Experiments show that this algorithm not only outperforms the existing general image super-resolution algorithm,but also reduces the network model size and processing time,satisfies the hardware constraints and real-time requirements of UAV platform,and has important application value for UAV aerial image processing.收稿日期：2022-11-04；修回日期：2023-02-15作者简介：董振龙，学士，助理工程师。通讯作者：李昂，博士，讲师。引用格式：董振龙，李昂，周凯，等.基于深度学习的无人机航拍图像超分辨率提升算法 J.无人系统技术，2023，6（5）：40-49.Dong Z L，Li A，Zhou K，et al.Super Resolution Improvement Algorithm of UAV Aerial Image Based on Deep LearningJ.Unmanned Systems Technology，2023，6（5）：40-49.第 5 期董振龙等：基于深度学习的无人机航拍图像超分辨率提升算法Key words:UAV Aerial Image；Super-Resolution Algorithm；Knowledge Distillation；Deep Learning；Lightweight Network1 引 言 现阶段大型无人机主要依赖图像信息遂行侦察、打击、毁伤评估等作战任务，而图像质量直接影响任务执行的效率以及达成目标的能力1。在现有技术水平范围内，直接依靠硬件设备的改进提升图像质量较为复杂，周期漫长且需要高昂的成本。此外，无论多么精密的硬件设备都无法完全解决由复杂外部环境、载机自身扰动等因素产生的影响图像质量的问题。因此，找到一种相对技术简单、成本低廉并且能满足实时性要求的算法来提升无人机航空影像的清晰度是目前亟待解决的问题之一。随着近年来深度学习技术的快速发展，其在超分辨率领域上的应用使得图像重建之后的精细度得到了大幅提高2。此技术能够有效提取图片边缘等高频信息，这是以往传统的超分辨率方法所无法做到的。然而深度学习网络往往存在计算资源要求高、运行时间效率低、模型泛化性能不足等问题3。同时，在无人机平台上的应用存在着硬件性能约束、实时性要求高、训练数据难以获取等现实困难。目前针对无人机航拍场景下的图像超分辨率研究与应用尚处于起步阶段。基于以上现实挑战和部队实战化需求，本文提出了一种专门用于无人机航拍场景的图像超分辨率算法。此算法包括两个部分。首先，设计了一种可学习的下采样模型，此模型主要用于训练数据的生成，可以模拟出真实场景下的低分辨率无人机航拍图像的数据特征。它由五大部分组成，每个部分由若干参数不同的卷积层串联而成。其次，本文结合无人机平台的现实需求，提出了一种基于知识蒸馏的轻量化图像超分辨率网络，它可以有效提升模型的泛化性能和时间效率。最终的实验结果表明，将两个模型组合训练所形成的算法性能超过了现有的通用图像超分辨率算法，还能进一步缩减网络模型大小和处理时间，进一步满足无人机平台的硬件约束和实时性要求。2 研究现状 早期超分辨率算法对需要处理的像素点周围的灰度值进行插值计算，以此来实现原有图像分辨率的提高4。这一类算法被称为基于插值的图像超分辨率算法，其算法实现较为简单，所需计算量小，运行速度也较快，但是存在图像还原度较低的问题。为了解决重建精度的问题，Nayak 等5从插值方向着手，对插值点的横、纵两方向紧邻的像素点进行二次插值计算，提升了图像重建精度，但高频信息丢失较多。彭燕等6则将插值范围从紧邻插值点周围的像素点扩展到十六个像素点，并进行三次插值运算。此算法提高了图像重建后的平滑度与像素连续性，但是计算量急剧增加。图像像素点之间的关系包含了多种非线性因素，单纯的线性插值无法很好拟合。Li等7将低分辨率图像边缘的高频信息进行协方差运算，以非线性的方式生成高分辨率图像。但此算法结构复杂，计算量较大，实用性不高。随着数据量的增加，传统超分辨率算法的共性问题也日益暴露出来：一是算法复杂度高，导致实际图像处理时间过长，无法满足应用需求。二是图像重建算法虽然是可行的，但实际重建图像的主观视觉效果并不理想。三是算法泛化能力低，硬件要求高，在很大程度上限制了算法的应用范围。因此，基于深度学习的超分辨率算法逐渐成为图像重建领域的主流。Dong等8首次将深度学习领域常用的卷积神经网络（Convolutional Neural Networks，CNN）应用到图像超分辨率领域，提出了超分辨率卷积神经网络（Super-Resolution Convolutional Neural Network，SRCNN）。该算法利用卷积神经网络强大的特征提取能力，将低分辨率图像的特征提取出来，训练模型中的各项参数，以此来重建高分辨率的图像。但此算法模型较为简单，限制了生成图像质量的进一步提高。因此，研究人员提出41第 6 卷无人系统技术建立极深网络来提高超分辨率算法的精确度。基于这种超高深度的网络结构，Kim等提出了两种新的算法，分别是超分辨率极深卷积网络（Very Deep Convolutional Networks for Super-Resolution，VDSR）9 和深度递归卷积网络（Deeply-Recurisive Convolutional Network，DRCN）10。这两种算法都使用了20个卷积层，采用梯度剪枝的方法控制梯度爆炸问题，同时以较高的学习速率训练VDSR以加快收敛速度。实验证明，这两种算法有效提高了图像重建算法的性能。除了在网络结构上加以改进，研究人员还对低分辨率图像与真实图像不匹配的问题进行了研究。获取低分辨率图像进行训练的传统方法是对真实的高分辨率图像进行双三次采样。但是真实情况下低分辨率图像是由多种原因产生的，包括图像模糊、下采样方法、随机噪声等。单纯以插值方法生成的低分辨率图像进行训练会对超分辨率算法的准确度产生影响，使得生成的高分辨率图像不能满足真实需求。Wang等11针对传统插值法获取低分辨率图像的方式加以改造，对输入的图像进行处理，训练得到退化编码器，再将其输入到退化感知网络中，以达到灵活适应多种真实环境下的图像超分辨率任务的目的。3 面向无人机航拍场景的图像超分辨率算法现有基于卷积神经网络的超分辨率算法大多假设图像的退化模型是固定且已知的（如双三次下采样）。但在实际拍摄过程中，图像质量下降的原因复杂多变，仅依靠单一退化模型重建的图像与真实图像相比偏差明显。此外，无人机受其自身平台限制，所搭载的视频处理硬件性能有限，无法部署过于复杂的算法。针对退化模型构建和算法实时性问题，本文从以下两点构建了超分辨率提升算法的模型结构：（1）基于卷积神经网络的基本结构，构建了可学习的下采样网络，以生成更加真实的低分辨率图像。（2）用知识蒸馏的基本框架，将现有超分辨率算法进行轻量化处理，以满足无人机场景下的算法实时性和计算资源限制的要求。3.1基于可学习下采样网络的训练数据生成方法传统超分辨率提升算法所使用的训练数据集大多是对高分辨率图像进行双三次下采样（Bicubic Down-sample）得到的。在深度学习网络训练的过程中，图像样本的分布对网络参数以及网络的性能有较强影响。这种使用简单插值函数产生的图像与真实世界的值域差异（Domain-Gap）较大。为了解决这种训练数据所造成的实验误差，本节基于快速超分辨率卷积神经网络12（Fast Super-Resolution Convolutional Neural Network，FSRCNN）的一般结构设计了一个可学习的下采样网络（Learnable Down-sample Network，LD-Net），其网络结构如图 1 所示。LD-Net 网络由五部分组成：（1）特征提取：此部分主要对输入图像的特征进行升维提取。由99大小的卷积核对图像进行卷积提取，输出的特征维度为d。（2）特征压缩：第一步特征提取后的特征图维度较高，直接对其进行超分辨率的映射操作会使运算量增大。因此，需要进一步对特征图进行维度压缩，将其通道数从d映射为s。（3）非线性映射：此步骤即为对低分辨率图像进行超分操作的关键之处，特征图的通道数和图1LD-Net结构Fig.1LD-Net structure42第 5 期董振龙等：基于深度学习的无人机航拍图像超分辨率提升算法卷积层层数决定了整个网络的复杂程度和重建的精确程度。这里所采用的是33大小卷积核的卷积层，共m层，通道数为s。（4）特征扩展：与特征压缩类似，先将完成非线性映射的特征图进行通道扩展，再进行反卷积操作，完成自动编解码器的对称操作。（5）反卷积：反卷积为卷积的逆操作，通过对特征图进行反卷积，可以重建出相应下采样大小的低分辨率图片。这里采用大小为5的小卷积核来更精细化地重建低分辨率图像。特征提取的通道数d，特征压缩后进行特征映射的通道数s以及特征映射的卷积层数m均对LD-Net 的性能影响较为明显。根据 Dong 等12对FSRCNN 结构的相关参数研究，本文确定了 LD-Net（d，s，m）所采用的参数值为（56，12，4）。3.2基于知识蒸馏的图像超分辨率网络对卷积神经网络的模型进行轻量化处理有两个方向，一是直接设计更为高效的轻量化结构，二是对原有的网络进行模型压缩，以达到轻量化的目的。直接设计一个轻量化且性能也可比拟原有网络的模型结构较为困难。因此，为了满足在无人机平台部署超分辨率提升算法所需要的轻量化网络要求，本节以知识蒸馏的方式对原有基于卷积神经网络的超分辨率提升算法进行模型轻量化处理。（1）网络总览为了满足在无人机平台部署超分辨率提升算法所需要的轻量化网络要求，本节以知识蒸馏的方式对原有基于卷积神经网络的超分辨率提升算法进行模型轻量化处理，其总体框架如图2所示。（2）轻量化的超分辨率网络知识蒸馏框架中，最重要的就是教师模型与学生模型的选取。在超分辨率领域，生成图像越真实的教师模型，其所具有的隐含知识就越丰富，对学生模型的引导能力就越强。此外，学生模型也需要具有一定的学习能力，结构过于简单的模型无法学习到教师模型中隐含的经验知识。因此，本文选取性能较好的图像超分辨率提升算法DASR13（Demirel-Anbarjafari Super Resolution）作为本文的教师模型，学生模型则针对本文使用场景，由经典的增强型超分辨率生成对抗网络14（Enhanced Super-Resolution Generative Adversarial Networks，ESRGAN）的 生 成 器 经 过 压 缩 化 简得来。DASR的网络结构如图3所示。其主要的特征处理网络由五个残差集组成，每个残差集中包含五个降质感受块（Degradation-aware Block）和一个卷积层，其中卷积层的卷积核大小均为3，除Conv 1输入通道为3、输出通道为64外，降质感受块和其他卷积层的输入、输出通道数均为64。由编码网络学习得到的降质特征块会输入到每个降质感受块中，作为经验数据提高生成图像的准确程度。在本文中，使用其预先训练好的模型权重作为生成图像时的内部参数。ESRGAN是一种基于生成式对抗网络的经典超分辨率提升算法，其基本结构是在SRGAN网络之上加以改进得到的。本章对其生成器加以改进，减少其参数量并降低网络复杂度，进而将其作为学生模型进行知识蒸馏的引导。图2网络总览Fig.2Network overview图3DASR基本结构Fig.3DASR overall structure43第 6 卷无人系统技术通过缩减ESRGAN生成器网络中的密集残差连接块（Residual in Residual Dense Block，RRDB）的数量和去掉不必要的重复卷积层，本章构建了轻量化的RRDB网络（Light RRDB-Net）。并对其不同的缩减数量进行了对比实验，选取了其中性能较好的一种，其基本结构如图4所示，其中m为13，Conv 1-3 的参数分别为（3，64，3）、（1，64，64）、（3，64，64），上采样方法为亚像素卷积，RRDB的输入、输出通道均为64。（3）基于知识蒸馏的模型迁移对于知识蒸馏模型来说，总的损失函数由两部分组成：一部分是原始高分辨率图像数据所构成的硬标签与学生模型之间的学生损失LS（Student Loss），一部分是教师模型生成的图像所构成的软标签与学生模型之间的蒸馏损失LD（Distillation Loss）。总的损失函数定义为L=LD(ys，yt，s，t)+LS(ys，yg，s)（1）式中，ys为学生模型生成的高分辨率图像的特征图，yt为教师模型生成的高分辨率图像的特征图，yg为真实的高分辨率图片，s为学生模型的模型参数，t为教师模型的模型参数。LD的目标是最小化学生模型生成的图片与教师模型生成的图片之间的L1损失，LS的目标是最小化学生模型生成的图片与真实图片之间的L1损失。在此模型中，教师模型是提前训练好的，使用预训练权重，并且所用损失函数为L1损失。因此对LD和LS的具体函数表示定义为LS=1Ni=1N|ysi-ygiLD=1Ni=1N|ysi-yti（2）式中，N为单次训练的批次数量，ysi、yti、ygi分别是第i批次内学生模型、教师模型生成的高分辨率图片和对应的原始高分辨率图片。4 实验设计与结果分析 4.1实验设计（1）实验数据集。本文所用到的数据集有Set 5、Set 14、RealSR15-17和 NWPU VHR-1018-19。其中Set 5和Set 14为测试数据集，分别包含5张和14张测试图片。Real SR为真实低分辨率图片数据集，包含200张训练图像和50张测试图像及其分别对应的真实低分辨率图片。NWPU VHR-10为航空影像数据集，共包含800张图片，本文将前750张照片作为训练图片，后50张作为测试图片。（2）实验对比模型及对比方法。对于下采样模型，本章实验所用模型为双三次下采样模型20和本文设计的可学习下采样模型。对于超分辨率模型，本章实验所用模型为SRGAN21、ESRGAN14和Light RRDB-Net。本文使用消融实验法对所构建算法进行验证，分别对LD-Net 和Light RRDB-Net 单独进行实验，再进行融合实验，充分验证所提出算法的有效性。（3）训练设置。实验是在Python 3.8、Pytorch 1.8.1的环境下进行。所用GPU为NVIDIA Geforce GTX 1070。在训练超分辨率算法网络时，教师模型使用的是预先训练好的权重文件，学生模型则在预训练的基础上进一步微调，以使其提高在特定数据集上的性能。每次学生模型在迭代计算时的输入样本数量为8，共迭代计算500轮，并且在每次迭代计算后对验证样本进行性能指标的验证。训练优化器选择为Pytorch中内置的Adam优化器，学习率设置为10-4。可学习下采样网络的设置除不使用预训练模型和单次迭代数为16外，其他设置与学生模型相同。（4）性能指标。不同的图像处理任务有不同的相关评价指标。对于超分辨率提升算法来说，常用的评价指标为峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）。此外，考虑到本文的实际应用场景为高空无人机平台，对模型的大小和处理速度都有较高要求，故在性能指标中也考虑了模型参数量大小和单个图像的处理时间。图4Light RRDB-Net总体结构Fig.4Light RRDB-Net overall structure44第 5 期董振龙等：基于深度学习的无人机航拍图像超分辨率提升算法峰值信噪比原是信号处理领域中的术语，表示一个信号的最大功率与噪声功率的比值。将重建后的图像和原始高分辨率图像取均方误差，其值越小代表重建图像和原始图像的误差越小，也就是生成的图像越真实，其定义公式为MSE=1XYi=0 xj=0yG()i，j-F()i，j2（3）式中，X和Y分别是图像的长和宽，G为真实的高分辨率图像，F为经过模型处理后输出的重建图像，i和j分别为图像的横、纵像素点坐标值。峰值信噪比是在均方误差的基础上计算得来的，单位为dB，计算式为PSNR=10 lg(max2MSE)（4）式中，max就是一张图像中的可能信号峰值，在RGB图像中即为255。由式（4）可得，均方误差越小，PSNR值越大，即PSNR越大代表生成的图像越真实。4.2结果分析（1）LD-Net对比实验对LD-Net进行训练时所使用的数据集必须是真实情况下的低分辨率图片与高分辨率图像。RealSR15-17是使用真实光学成像设备对同一场景进行不同分辨率采样得到的数据集，能够最大程度反映高分辨率图像和低分辨率图像之间的映射关系。基于此，本文使用RealSR作为LD-Net训练时使用的训练集。基于构建LD-Net时提出的主要研究目的，本节将双三次下采样算法设置为对比算法，将PSNR值作为评价指标。将下采样倍率设为4，图5给出了对比试验的结果。可以看出，由双三次下采样生成的图片颗粒感与噪声非常明显，而由LD-Net生成的图片则与原始低分辨率图片更为相似，且主观感受也要优于双三次下采样算法。表1给出了LD-Net和双三次下采样算法在不同测试数据集上的PSNR数值，其结果表明了LD-Net在生成图片上的优越性。（2）Light RRDB-Net对比实验Light RRDB-Net 对比实验所用数据集均为图像超分辨率常用公开数据集。其中低分辨率图片是由双三次下采样算法对原始高分辨率图片进行处理得到的。一般的航空影像单张图片包含数据表1LD-Net对比实验定量分析Table 1Quantitative analysis of LD-Net contrast test模型BicubicLD-NetPSNR/dB20.7627.58图5LD-Net对比实验结果图Fig.5The result picture of LD-Net contrast test45第 6 卷无人系统技术量较大，在训练模型时所需内存容量较高，处理时间过长，不利于图像超分辨率网络的训练。因此，本文将数据集中的航空影像均进行了裁剪处理，将单张图像裁剪成大小为400400的图像块，以便于超分辨率网络的训练。此外，为了在训练时使Light RRDB-Net能够达到更高的效能，最大程度发挥预训练权重的作用，将每100轮训练后的学习率调整为之前的十分之一。为了体现出使用知识蒸馏技术对网络的压缩效果，本节所使用的性能指标除了PSNR 值以外还加上了网络参数量和单张图像的处理时间。以ESRGAN 和 SRGAN 作为对比的超分辨率提升算法，超分辨率倍数设置为4。表2给出了对比实验结果，其中，SRGAN的参数量为5.9 M，ESRGAN的参数量为16.7 M，Light RRDB-Net 的参数量为7.3 M。从表中性能指标结果可以看出，Light RRDB-Net在PSNR值方面比ESRGAN略低，但远高于 SRGAN。在处理时间方面则优于 ESRGAN，同时网络大小也要小于 ESRGAN。从图 6 中给出的超分辨率结果图也可以看出 Light RRDB-Net在图像重建质量方面和两个对比模型相比达到相同水平。注意，这里并没有使用 LD-Net 生成训练数据，而是直接使用双三次下采样生成训练数据。（3）LD-Net与Light RRDB-Net融合对比实验从前文对两个卷积神经网络分别进行实验的图6Light RRDB-Net对比实验结果图Fig.6The result picture of Light RRDB-Net contrast test表2Light RRDB-Net 对比实验定量分析Table 2Quantitative analysis of Light RRDB-Net contrast test数据集Set 5Set 14Real SRNWPU VHR-10SRGANPSNR/dB20.7621.5828.7427.33Time/ms16202410ESRGANPSNR/dB25.1924.3431.5930.45Time/ms879110237Light RRDB-NetPSNR/dB24.8224.631.4230.37Time/ms2938501746第 5 期董振龙等：基于深度学习的无人机航拍图像超分辨率提升算法结果来看，LD-Net与Light RRDB-Net都能够满足其设计目标，较好地拟合退化模型以及达到无人机平台的实时性与硬件要求。本节为了进一步研究 经 由 LD-Net 生 成 的 低 分 辨 率 图 片 对 Light RRDB-Net 进行训练能否进一步提高生成图片质量，设置了融合对比实验。融合对比实验所用数据集与Light RRDB-Net对比实验不同之处在于所用低分辨率图片均由LD-Net生成，LD-Net权重由前文实验训练得到。在实验性能指标的设置方面，融合对比实验的目的主要是验证对退化模型拟合更好的低分辨率图片对超分辨率提升算法的增强作用，故只设置了 PSNR 值作为最终的比较参数。表3给出了融合对比实验的结果，其中双三次下采样结果来自于上一节对 Light RRDB-Net 的单项对比实验。从表中结果可以看出经由 LD-Net 生成的低分辨率图片训练得到的网络性能更加良好，PSNR值普遍比由双三次下采样得到的网络要高。同时，也可以从图7的结果中看出，经由LD-Net生成的图片训练得到的Light RRDB-Net的性能要更好。表3融合对比试验定量分析Table 3Quantitative analysis of fusion contrast test数据集Set 5Set 14Real SRNWPU VHR-10SRGANPSNR/dB20.7621.5828.7427.33ESRGAN25.1924.3431.5930.45Light RRDB-Net(with Bicubic)24.8224.6031.4230.37Light RRDB-Net(with LD-Net)25.9325.7632.8031.61图7融合对比实验结果图Fig.7The result picture of fusion contrast test47第 6 卷无人系统技术5 结 论 本文从现代无人作战飞机任务执行过程中图像信息的重要性出发，结合无人机平台自身性能特点，提出了从软件算法层面提升航空影像分辨率的构想。为了解决实际退化模型与传统下采样算法之间不匹配的问题，以及无人机平台对算法大小限制的问题，本文结合卷积神经网络和知识蒸馏技术提出了基于知识蒸馏的超分辨率算法。主要工作总结如下：（1）构建了一种可学习的下采样网络（即LD-Net）。超分辨率提升算法训练时所用数据集由高分辨率图像及其对应的低分辨率图像组成。传统超分辨率算法通常用双三次下采样算法生成低分辨率图片，但是真实环境下的图像质量下降原因复杂多样。本文利用卷积神经网络对复杂模型的拟合能力构建了一种学习真实退化模型的网络。（2）构建了一种基于知识蒸馏的超分辨率网络（即 Light RRDB-Net）。现阶段超分辨率算法多为神经网络结构，其网络大小与生成图像的质量之间呈相反的趋势。本文为了解决在无人机平台上应用超分辨率算法遇到的网络大小和实时性的限制问题，使用了知识蒸馏技术来压缩网络大小，保证生成图像质量的同时减小网络规模。（3）对上述两种网络模型进行了综合对比实验。首先对可学习下采样网络的退化模型拟合能力进行了实验，结果要明显优于传统双三次下采样算法。之后对Light RRDB-Net使用了知识蒸馏技术，实验结果表明了知识蒸馏技术使得所构建网络在性能仍然保持较好的情况下在模型大小和处理时间方面优势明显，能够满足无人机平台的应用需求。在未来战场上，无人机日益成为作战行动的有力推手，如何提高无人机的综合作战能力将始终是部队研究的重点之一。虽然本文提出的超分辨率提升算法能够在图像方面提高无人机的作战性能，但是其也存在数据集难以搜集和图片生成质量仍然不够高等问题。在之后对无人机的研究中，还需要继续改进本文提出的超分辨率算法，使其更好地满足无人机的作战需求。参 考 文 献1 薛德鑫，单涛，徐宁骏，等.军用作战无人机未来发展研究 J.指挥控制与仿真，2022，44（06）：1-6.2 钟梦圆，姜麟.超分辨率图像重建算法综述 J.计算机科学与探索，2022（05）：972-990.3 陈舒畅，杨万里，李新立.深度学习技术在遥感影像分类与识别中的应用研究综述 J.电子技术与软件工程，2022（15）：144-147.4 张芳，赵东旭，肖志涛，等.单幅图像超分辨率重建技术研究进展 J.自动化学报，2022（11）：2634-2654.5 Nayak R，Patra D.Image interpolation using adaptive P-splineC.2015 Annual IEEE India Conference，New Delhi，India，December 17-20，2015.6 彭燕，胡丹屏，刘宇红，等.基于 FPGA 实现的Ferguson双三次曲面插值图像缩放算法 J.贵州大学学报（自然科学版），2019，36（6）：68-72，118.7 Li X，Orchard M T.New edge-directed interpolationJ.IEEE Transactions on Image Processing，2001，10（10）：1521-1527.8 Dong C，Loy C C，He K，et al.Learning a deep convolutional network for image super-resolutionC.European Conference on Computer Vision，Zurich，Switzerland，September 6-12，2014.9 Kim J，Lee J K，Lee K M.Accurate image super-resolution using very deep convolutional networksC.2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Las Vegas，NV，USA，June 27-30，2016.10 Kim J，Lee J K，Lee K M.Deeply-recursive convolutional network for image super-resolutionC.2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas，NV，USA，June 27-30，2016.11 Wang L，Wang Y，Dong X，et al.Unsupervised degradation representation learning for blind super-resolutionC.2021 IEEE Conference on Computer Vision and Pattern Recognition，Nashville，TN，USA，June 20-25，2021.12 Dong C，Loy C C，Tang X.Accelerating the super-resolution convolutional neural networkM.Computer 48第 5 期董振龙等：基于深度学习的无人机航拍图像超分辨率提升算法Vision-ECCV，Cham：Springer International Publishing，2016：391-407.13 Wei Y，Gu S，Li Y，et al.Unsupervised real-world image super resolution via domain-distance aware training C.2021 IEEE Conference on Computer Vision and Pattern Recognition，Nashville，TN，USA，June 20-25，2021.14 Wang X，Yu K，Wu S，et al.ESRGAN：enhanced super-resolution generative adversarial networks C.The 15th European Conference on Computer Vision，Munich，Germany，September 8-14，2018.15 Cheng G，Han J，Zhou P，et al.Multi-class geospatial object detection and geographic image classification based on collection of part detectors J.ISPRS Journal of Photogrammetry and Remote Sensing，2014，98：119-132.16 Cheng G，Han J.A survey on object detection in optical remote sensing images J.ISPRS Journal of Photogrammetry and Remote Sensing，2016，117：11-28.17 Cheng G，Zhou P，Han J.Learning rotation-invariant convolutional neural networks for object detection in VHR optical remote sensing images J.IEEE Transactions on Geoscience and Remote Sensing，2016，54（12）：7405-7415.18 Cai J，Zeng H，Yong H，et al.Toward real-world single image super-resolution：a new benchmark and a new modelC.CVF International Conference on Computer Vision，Seoul，South Korea，October 27-November 3，2019.19 Cai J，Gu S，Timofte R，et al.NTIRE 2019 challenge on real image super-resolution：methods and resultsC.CVF Conference on Computer Vision and Pattern Recognition Workshops，Long Beach，CA，USA，June15-20，2019.20 Keys R G.Cubic convolution interpolation for digital image processing J.IEEE Transactions on Acoustics，Speech，and Signal Processing，2003，29（6）：1153-1160.21 Ledig C，Theis L，Huszar F，et al.Photo-realistic single image super-resolution using a generative adversarial networkC.2017 IEEE Conference on Computer Vision and Pattern Recognition，Honolulu，USA，July 21-26，2017.49