基于残差生成对抗网络的光谱数据域适应研究.pdf

信息通信基于残差生成对抗网络的光谱数据域适应研究元文浩，陈强，刘杰”黄光造？（1.温州医科大学，浙江温州32 50 0 0;2.温州大学，浙江温州32 50 0 0）摘要：在实际应用中，不同光谱仪测得的光谱数据往往属于不同的数据分布，而对光谱数据的标定，通常需要拥有充实知识背景的专业人士来完成，且标注周期长、工作量大。因此，如何寻找来自不同测量仪器的光谱数据的相似性，并将不同分布的数据迁移至同一分布中，就可以有效解决跨域光谱数据的分析和建模问题，并减轻专业人士标注数据的工作量。在本文中，提出了一种基于残差模块的生成对抗网络对光谱数据进行域自适应，它通过生成器实现两个不同分布的数据集之间的迁移，并在生成器中加入残差模块以确保模型训练的稳定性。最后使用玉米的近红外光谱数据集验证了所提方法的有效性。实验结果表明,所提方法对无监督回归域迁移具有一定的效果。关键词：生成对抗网络；残差模块；域自适应中图分类号：TP181文献标识码：AStudy on domain adaptation of Spectral databased on Generative Adversarial NetworkYUAN Wenhao,CHEN Qiang,LIU Jie,HUANG Guangzao?(1.Wenzhou Medical University,Wenzhou 325000,China;2.Wenzhou University,Wenzhou 325000,China)Abstract:In practical applications,the spectral data measured by different spectrometers often belong to other data distributions,and the calibration of spectral data usually requires professionals with sufficient knowledge background to complete,the labelingperiod is long and the workload is significant.Therefore,how to find the similarity of spectral data from different measurementinstruments and migrate the data from other distributions to the same distribution can effectively solve the analysis and modelingproblem of cross-domain spectral data and reduce the workload of professionals in labeling data.In this paper,a generative ad-versarial network based on the residual module is proposed for domain adaptation of spectral data,which implements migrationbetween two datasets with different distributions through a generator.It incorporates the residual module in the generator to en-sure the stability of the model training.Finally,the effectiveness of the proposed method is verified using the NIR spectral datasetof maize.The experimental results show that the proposed method is effective for unsupervised regression domain migration.Keywords:Generative adversarial network;residual block;domain adaptation0引言目前，随着云计算、大数据、人工智能、物联网、区块链等的飞速发展，人工智能在各个领域的应用发生了翻天覆地的变化，例如图像识别、文本分类以及语音识别技术等。并且，其在光谱回归分析(Spectral RegressionAnalysis）领域上也取得了重要应用。光谱回归分析是一种利用光谱数据进行化学物质成分分析的技术 2 。它起源于光谱学，在2 0 世纪6 0 年代初期在化学、生物学、环境科学和材料科学等领域得到了广泛的应用3。随着计算机技术的发展，光谱回归分析逐渐从传统的线性回归方法转向了更先进的非线性回归方法，如人工神经网络(ANN)、支持向量机(SVM)等。然而，在实际对人工智能各类模型的运用中，为了保证训练所得模型性能，理论上通常对模型所用的数据有一定的假设要求，即训练数据和测试数据的特征空间和分布必须相同。但是，对于光谱数据，不同光谱仪测的数据基本上属于不同的分布，若能将两个不同光谱仪测得的光谱数据迁移至同一分布，如此，就能保证各类模型能在光谱数据中使用，这可以大大减轻专业人士对光谱数据进行标注的工作量，有着重要的意义。收稿日期：2 0 2 3-0 2-2 0基金项目：国家自然科学基金项目名称：无目标食品掺假的近红外光谱单类分类检测研究（项目编号：6 2 10 52 45）；温州市科技局项目，项目名称：基于自注意力生成对抗网络的域自适应骨龄评估方法研究（项目编号：G20220003）。作者简介：元文浩（19 8 8-），男，浙江乐清人，工程师，硕士研究生，温州医科大学信息技术中心，研究方向：数据挖掘；陈强（19 9 1-），男，浙江温州人，硕士研究生，工程师，研究方向：信号处理；刘杰（19 8 4-），男，浙江温州人，硕士研究生，高级工程师，研究方向：大数据；黄光造（19 8 7-），男，浙江温州人，博士研究生，副教授，研究方向：机器学习。292023年第0 5期(总第2 45期)文章编号：2 0 9 6-9 7 59(2 0 2 3)0 5-0 0 2 9-0 3近年来，生成对抗网络（GenerativeAdversarialNetworks，GAN)采用零和博奔思想，生成了超优质的样本数据，它能够有效地学习各类数据的分布，由IanJ.Goodfellow于2 0 14年首次提出。与传统的生成模型不同,GAN不是直接对样本空间中每个样本点进行概率密度估计，而是通过生成器G对样本分布进行隐式表达5。因此，本文探索通过使用GAN强大的对抗学习数据分布的能力，将两个不同分布的数据进行转移。1基本原理与方法1.1生成对抗网络的基本理论生成对抗网络由两个神经网络组成：生成器（Generator)和判别器（Discriminator）。生成器的任务是生成一些看起来很像真实数据的虚假数据，判别器的任务是将真实数据与虚假数据进行分类 6 。这两个网络互相博奔，生成器试图生成越来越真实的数据，使得判别器难以识别；判别器则试图提高识别准确度，使得生成器生成的数据越来越不真实。GAN的目标函数如(1)所示：ming maxD VcAN(D,)=Ex-pa log(x)+Ezp:(1og(1-(G(2)(1)Changjiang Information&Communications其中，z表示从特定分布pz(z）中随机采样所得的向量，pPaa(x)表示真实样本数据的概率分布。但是GAN的训练过程可能比较复杂，容易出现模型不稳定等问题，目前，深度卷积生成对抗网络（Deepconvolutionalgenerative adversarial networks,DCGAN)采用反卷积神经网络与卷积神经网络分别构造生成模型与判别模型，并对如何建立一个稳定的网络提供了实验性的指导，因此本文的模型中采用DCGAN结构。1.2域适应的基本理论在迁移学习中，当源域和目标域的数据分布不同，但两个任务相同时，这种特殊的迁移学习叫做领域自适应（DomainAdaptation,DA）7 。因为其任务相同，域适应属于一种直推式迁移学习。在计算机视觉中，域适应是一个常见要求，因为带有标注的数据集很容易取得，但是获得的数据集和我们最终应用的数据集来源的域往往是不同的。域适应是机器学习的一个子学科，它处理的场景是，在不同（但相关）的目标分布的背景下，使用在源分布上训练的模型。通常，域适应使用一个或多个源域中的标记数据来解决目标域中的新任务。因此，源域和目标域之间的关联程度通常决定了适应的成功程度。1.3实验数据的来源与预处理本次实验所用的玉米近红外光谱数据集包含在3种不同的NIR光谱仪(m5、mp 5和mp6)上测量的8 0 个玉米样品。波长范围为110 0-2 49 8 纳米，间隔为2 纳米，预测值分别为每个样品的水分、油分、蛋白质和淀粉的属性值。在本研究中，与m5相关的数据被视为源数据，与mp5相关的数据被视为目标数据，取蛋白质为预测值，所有近红外光谱图及物性信息均不经过预处理，仅归一化至 0,1。2实验与方法2.1基于生成对抗网络的玉米光谱数据域适应在深度卷积生成对抗网络中，生成器G是用高斯噪声z和m5光谱数据相结合，作为输入数据进行数据的生成，目标是能生成以假乱真的mp5光谱数据，鉴别器D则对生成的mp5光谱数据和真实的mp5数据进行判断真假。具体的模型架构已经显示在图1中。RealFakemp5(real)m5G是一个残差反卷积神经网络，中间的加入了3层残差反卷积层，各层的激活函数为LeakyReLU函数，其中输出层的激活函数为Sigmoid函数。鉴别器D是一个卷积神经网络，元文浩等：基于残差生成对抗网络的光谱数据域适应研究在中间层使用LeakyReLU函数作为激活函数，输出层的激活函数为Sigmoid函数。具体的模型结构参数已经显示在表1中。表1DCGAN模型结构及参数The network structure and hyperparameters of DCGANOperationKemelLinear(Reshape)NAResidual Deconvolution121Residual Deconvolution12x1Residual Deconvolution12x1Convolution121Convolution12x1Convolution12X1Fuly ConnectedNIAFuly ConnectedNIAOptimizer Adam(r=0.001)Iteratons 1000Leaky ReLU slope O.2Weight bias initlizationlIsotropicGaussian(u=0,a=0.02)经过大约10 0 0 次迭代,DCGAN的训练过程趋于稳定，测试生成器将m5数据集迁移至mp5光谱数据集的情况如图2 所示：1.00.80.60.40.20.02.2基于卷积神经网络的回归模型通过生成对抗网络实现域迁移后，就可以使用卷积神经网络进行回归预测。卷积回归模型R由3个卷积层组成，卷积层输出的激活函数为Leaky ReLU,而最后的输出层是一个全连接层，输出层的激活函数是一个Sigmoid函数，具体的模型结构参数已经显示在表2 中。表2 CNN回归预测模型结构及参数labelThe network structure and hyperparameters of CNN Regression ModelOperationComvolutionRegressionConvolutionCorvolutionOptimizer Adam(r=0.001)mp5(fake)noise图1模型架构总览StidesGNA2x1212x1D2x12x121NIANIAParameter12001400图2 完成迁移的玉米红外反射光谱KemelStridesCNN1212x11212x112121ParameterIterations 1000weightLeaky ReLU sope 0.2layerWeight,bias initialization Isotropic Gaussian(=0,=0.02)Retifiual mfockFweightlayerFix+*eluFeature maps799648148961256116001800Feature maps96481identity2.3域适应对回归预测模型的影响通过生成器对m5仪器测得的光谱数据转移至mp5仪器测得的光谱数据的分布中，再用回归模型进行预测，并与未通过生成器进行转移的原m5数据集，直接用回归模型进行预测的结果进行比对，回归模型的预测值与真实值的情况，如图3所示：30BNV20002200BNNonlineartyLeakyReLULeaky ReLuLeakyReLuSigmodLeakyReluLeaky ReLULeaky ReLULeaky ReLuSigmod2400NoninearityLeaky ReLULeaky ReLUSigmodChangjiang Information&Communications10元文浩等：基于残差生成对抗网络的光谱数据域适应研究Targel vsPredictonTarget vs Prediction10性和稳定性。参考文献：1于胡飞,温景熙,辛江,等.基于生成对抗网络的医学数据域适应研究 J.大数据,2 0 2 0,6(5):45-54.2 Mishra P,Nikzad-Langerodi R,Marini F,et al.Are standard sample measurements still needed to transfer multivariate080402对比回归预测结果如表3所示：表3域适应对回归评价指标的影响ModelsRMSECNN(without DA results)0.086CNN(with DA results)0.039从回归预测结果图和RMSE均可以看出，通过域自适应使得CNN回归预测模型的性能在目标域得到了提升。3结语本文通过判别模型与生成模型的对抗过程，使得生成模型学习到了两种不同设备测试的玉米的近红外光谱数据分布特征，并使用生成模型完成光谱数据从m5域迁移至mp5域的任务，提高了通过m5数据集训练的CNN回归模型在mp5数据集上的预测性能。总的来说，GAN在光谱数据领域的自适应研究取得了一定的进展。未来，我们需要继续探索如何更好地利用GAN生成高质量的数据，以及如何使GAN模型更加适应不同实验条件下的数据分布，从而提高模型的准确.+.+.+（上接第2 8 页）加速度和方向盘转角变化较剧烈，但车辆响应迅速，未出现打滑和失控。3Laleral Acoekeralion2142310 2030405060708090Time-s图12 横向加速度、方向转角综上，设计的仿真场景及避障策略都能较好的实现。依靠S-Function间的状态变化，能够完成轨迹的重规划，无人车能在设计的场景中顺利会车、避障，仿真效果好，达到预期目标。参考文献：1 Sanchez Felipe,Philipp Hartlieb.Innovation in the miningindustry:Technological trends and a case study of the chal-lenges of disruptive innovation.Mining,Metallurgy&Ex-ploration 37.5(2020):1385-1399.2 CChen Wei,Xuzhou Wang.Coal mine safety intelligent moni-toring based on wireless sensor network.IEEE Sensors Jour-nal 21.22(2020):25465-25471.3于建华.某煤矿辅助运输无轨胶轮车事故原因分析 .煤矿机械,2 0 18,39(0 2):12 3-12 5.3108020204without DA results图3域适应对模型预测能力的影响1510BoPMBA5-10-15081002with DA results102030 4050 60708090Tme-s0406Skoering Angie0810calibration models between near-infrared spectrometers Theanswer is not alwaysJ.TrAC Trends in Analytical Chemis-try,2021,143:116331.3 Nikzad-Langerodi R,Andries E.A chemometricians guide totransfer learningJ.Journal of Chemometrics,2021,35(11):e3373.4Esquerre C,Gowen A A,Burger J,et al.Suppressing samplemorphology effects in near infrared spectral imaging usingchemometric data pre-treatmentsJ.Chemometrics and In-telligent Laboratory Systems,2012,117:129-137.5Goodfellow I,Pouget-Abadie J,Mirza M,et al.Generativeadversarial netsJ.Advances in neural information process-ing systems,2014.2672-2680.6Berthelot D,Schumm T,Metz L.Began:Boundary equilib-rium generative adversarial networksJ.arXiv preprint ar-Xiv:1703.10717,2017.7 Jiang J,Shu Y,Wang J,et al.Transferability in deep learning:A surveyJ.arXiv preprint arXiv:2201.05867,2022.8Feudale,R.N.;Woody,N.A.;Tan,H.;Myles,A.,Brown,S.D.;Joan,F.Transfer of Multivariate Calibration Models:AReview.Compr.Chemom.2009,64(2),181-192.+4张强.浅析煤矿用防爆柴油机无轨胶轮车辅助运输事故致因及预防措施 J.中国设备工程,2 0 19(17):143-144.5 季一木,陈治宇.无人驾驶中3D目标检测方法研究综述J.南京邮电大学学报(自然科学版),2 0 19,39(0 4):7 2-7 9.6 刘备战,赵洪辉,周李兵.面向无人驾驶的井下行人检测方法 J.工矿自动化,2 0 2 1,47(0 9):113-117.7任柯燕，谷美颖,袁正谦.自动驾驶3D目标检测研究综述J/OL.控制与决策:1-2 4 2 0 2 2-11-2 9 .8 秦沛霖，张传伟.煤矿井下无人驾驶无轨胶轮车目标3D检测研究 J.工矿自动化,2 0 2 2,48(0 2):35-41.9(Qi Charles R,et al.Frustum pointnets for 3d object detectionfrom rgb-d data.In Proceedings of the IEEE conference oncomputer vision and pattern recognition.2018.p.918-927.10杨春雨,张鑫.煤矿机器人环境感知与路径规划关键技术J.煤炭学报,2 0 2 2,47(0 7):2 8 44-2 8 7 2.11刘停.基于机器视觉的井下救援探测机器人路径规划研究D.中国矿业大学,2 0 17.12 Papachristos,Christos,et al.Autonomous aerial robotic ex-ploration of subterranean environments relying on morphol-ogy-aware path planning.International Conference on Un-manned Aircraft Systems(ICUAS).IEEE,2019.p.299-305.13马浩楠.基于空间MPC的矿井车辆避障规划与跟踪控制研究 D.煤炭科学研究总院,2 0 2 0.14骆彬.井下蓄电池无轨胶轮车无人驾驶系统设计研究 D.中国矿业大学,2 0 19.15王陈,鲍久圣,袁晓明.无轨胶轮车井下无人驾驶系统设计