基于SVM的SAR图像变化检测方法研究.pdf

第2 6 卷第3期2023年5月doi:10.3969/j.issn.1008-1399.2023.03.026高等数学研究STUDIES IN COLLEGE MATHEMATICSVol.26,No.3May,2023基于SVM的SAR图像变化检测方法研究白建超，陈泓桦2（1.西北工业大学数学与统计学院，陕西西安7 10 12 9；2.西北工业大学自动化学院，陕西西安7 10 12 9）摘要为研究不同支持向量机（SVM)方法在处理合成孔径雷达（SAR)图像变化检测问题上的优劣，本文首先将该问题等效成像素级别的二分类问题，然后基于SVM对该分类问题进行建模与转化.应用四种优化算法对转化问题及其对偶问题求解，分别从收敛效果、运行速度和检测精度方面测试了这些算法的数值性能.结果表明序列极小化算法预测的变化图的边界相对最清晰、斑点噪声最少，但耗时较多.关键词合成孔径雷达；图像变化检测；支持向量机；优化算法中图分类号0 2 2 1On SAR Image Change Detection Method Based on SVM(1.School of Mathematics and Statistics;2.School of Automation,Northwestern Polytechnical University,Xian,Shanxi,710129,China)Abstract In order to study the advantages and disadvantages of different Support Vector Machine(SVM)methods for solving Synthetic Aperture Radar(SAR)image change detection,the problem is first made e-quivalent to a binary classification problem at pixel level,and then modeled and reformulated based onSVM model.Applying four optimization methods to the reformulated problem and its dual,their numericalperformances are investigated from three aspects:convergence effect,running speed,and detection accura-cy.Results show that the boundary of the change map predicted by the sequential minimal optimization al-gorithm is relatively the clearest and the speckle noise is the least,but it costs more time than the otherthree algorithms.Keywords synthetic aperture radar,image change detection,support vector machine,optimization algorithm变化检测是图像处理领域关注的一个热点问题，在民用和军事领域具有重要的应用.例如，自然资源（土壤、水源、林地、沙漠等)的动态变化是城市规划中参考的一个关键信息；机场、港口、交通道路等人工结构的变化可以为决策的制定提供重要参考。合成孔径雷达（简称SAR）图像独立于大气和光照条件，是进行变化检测的理想信息来源，包括地文献标识码ABAI Jianchao and CHEN Honghua?文章编号10 0 8-1399(2 0 2 3)0 3-0 0 7 6-0 7图更新、城市规划、森林砍伐调查、洪水检测、海洋垃圾追踪、地球物理灾害防治等.在变化检测任务中，一般处理的是同一地区前后不同时间拍摄的SAR图像对,最终得到其对应的变化图,如图1(a)-(c)所示.变化图标记了该地区的变化信息，通常为二值灰度图格式，即所有像素的取值介于0，2 55，其中非零像素表示变化区域，零像素表示未变化区域.收稿日期：2 0 2 1-0 6-0 3基金项目：中国博士后科学基金（2 0 2 0 M683545）.作者简介：白建超（198 7 一），男，陕西丹凤人，博士，副教授，研究方向：最优化理论与方法，Email:；陈泓桦（1998 一），男，河南鹤壁人，硕士生，研究方向：模式识别,Email:.修改日期：2 0 2 2-0 4-0 9(a)(b)图1变化检测示意图(c)第2 6 卷第3期最初的变化检测方法采用阈值分割算法，对样本图像进行差值操作生成相应的差异图（记为DI，即DifferenceImage），然后对DI进行阈值化处理，最终输出变化结果.这类方法主要有Otsu算法和CVA法2 等.基于值分割的方法虽然简单，但准确率较差.随着机器学习和深度学习的兴起，许多人工智能算法被应用于变化检测中.根据不同的问题场景，这些方法分为监督学习方法：支持向量机31（简记为SVM)、马尔可夫随机场MRFL41、决策树DTs5和字典学习6 等；无监督方法：K-均值聚类7 和模糊C-均值法8 等.由于深度网络在计算机视觉领域的表现日益出色，一些流行的深度网络结构被应用于变化检测任务中，如U-Net9、LST M L10 1，以及采用了注意力机制的STANet11等.机器学习方法在实际问题的求解过程中采用启发式策略，使得其在变化检测问题上取得了十分可观的表现.更重要的是，机器学习方法所建立的模型在数学上具有较强的可解释性.因此，本文选择变化检测方法中的SVM来着重讨论凸优化方法在其中的应用效果。1模型建立及问题转化变化检测过程主要分为三步.第一步，对SAR图像进行几何校正和配准，使得多时图像在同一坐标系下对齐，同时去除斑点噪声；第二步，从多时图像中使用差值或比率算子生成DI；第三步，分析DI,这是最关键的一步，需要先对DI进行特征提取，然后将特征向量馈入机器学习模型中进行训练、预测.下面重点讨论第二、三步.1.1训练集的构建考虑同一区域内两个不同时间采集的共配准强度SAR图像对，记为Q1,Q2（大小为HW维）：Q=(Q(i,j),1iH,1jW),k=1,2.且使用对数比率算子生成相应的差异图矩阵，简记为DE RHXW:D=logQ2最终目的是生成变化图，这是一个像素级别的二分类问题.本文选用SVM作分类器，将变化检测问题最终转化为基于监督学习模型的二分类任务：由于本文关注的是有监督的像素级二分类任务，需要使用训练样本来训练分类器模型.训练集的每个样本代表DI的一个像素点，在构建样本时会利用每白建超，陈泓桦：基于SVM的SAR图像变化检测方法研究：Lca(ih/2+h,j一h/2+h)DIERxW图2 将DI划分为不重叠的patch块示意图再求出其协方差矩阵M2(Xi-w)(X1-w)T,MC=M力=1其中为均值向量.紧接着，对该矩阵进行特征值分解并取前S个特征向量，然后将X投影到RSX1的特征空间，故最终的训练集为Ximin=(X,y.)|1iM,X,E Rsx,y:E(0,1),这里y；为标签，其值取0 或1分别代表变化类和不变化类，是已知的.1.2SVM分类器模型SVM产生于统计学习中，用于权衡结构复杂性和经验风险，是在线性可分的样本空间中找到一个最优超平面.该平面可以对不同数据进行分类.在图3中，空心点和实心点分别代表两类不同数据，H是需要找的最优超平面,HI和H2是靠近H的两个平面,H到H的距离称为分类边界，这两个平面穿过的点称为支持向量。HHH图3最优分离超平面77个像素点的邻域信息.通常做法是把DI划分为M个图像块patch，每个patch以像素D(i，j）为中心，大小为hXh的正方形矩阵，如图2 所示.然后以D（i，j）为中心的第p个(1 pM=|（H W)/(h Xh）D)p a tc h表示为X（i,j），将X（i,j）展成一个长为hh的一维向量a(ih/2+1,jh/2+1)Xi(i,j)=patch:X,eRa*hmargin=2/ERix1,78对于Xrain中任一样本X,，它到超平面WIX十b=0的距离通过缩放可以化为d=1/II W I l.我们希望d最大，即W 应该最小，于是得到如下优化问题min IIWI2s.t.y;(WTX,+b)l,i=1,.,M.1.3问题转化在求解问题（1）时，通常需要引入一个松弛变量作为正则项，从而提高模型的泛化能力.引入正则项之后，原问题不再线性可分，这时需要借助一个高维映射:X(X),将X投影到一个高维空间.在高维空间中，（X）是线性可分的，于是转化后的模型为minW1+s-y.WTp(X,)-yib0,S.t.(50.不难得到问题（2）的对偶问题为M1max,i=1r0;C,S.t.(2aiy:=0.Mi-1其中yi,y;分别为样本数据i,;对应的标签；k(Xi,X,)=（Xi)T(X2)是核函数.下面对原始问题及其对偶问题进行求解.2原始问题的求解2.1Pegasos 算法Pegasos 算法是由 Shai Shalev-Shwartz 等人12 提出的.该算法求解原问题（1）时，需要结合目标函数的梯度信息.实质上，问题（1）可以看作一个无约束经验风险损失最小化问题，包含一个对正在学习的分类器的二范数惩罚项，即IW2+Mx入minW2其中入为惩罚系数,而l(W;(X,y)=log(1+exp(-yW,X)为损失函数，）为内积运算。Pegasos算法在迭代更新时需要从训练集中随机选取一个大小为k的子集，并计算该子集上损失函数的梯度均值.不妨用A，表示第t次迭代选用的子集，且满足A,=k,则梯度高等数学研究V,=入W,-k2iEAPegasos算法的具体迭代流程如下：表1Pegasos算法(1)输人：训练集Xrain，参数入，最大送代次数T，kStep 1:初始化W=0Step 2:1For t=1,.,T do随机选取A,二Xrain且|A,|=k计算梯度V,取n=1/(入t)更新参数Wi+1W,-nV,endStep3:输出近似最优解W=WT+1.MIlWI2-cZs;i=1MM2i=1 j=1I(x.Xrain2023年5月1+exp(-y;)X.(2)2.2Cutting-Plane算法许多应用SVM的问题包含大量的n个样本，且其特征数为N.但大多数情况下每一个样本只有sN个非零特征.Joachims13提出了一种基于割平面（Cutting-Plane）的算法，针对分类问题需要的训(3)练时间为O(sn）.算法最初的提出是用SVM预测结构化输出和优化多元性能度量131.首先对问题（2)进行结构化处理：minWI/W I2-Css.t.w2,ciyX2,c,-s,nVc E(0,1).上述问题中虽然有2”个约束，每个可能的向量=ci，,c,)E 0,1)，但只有一个松弛变量，所有约束共享.文13给出了问题（5）与问题（2）的等价性证明且指出=Si.Cutting-Plane算法通过构造（5）中约束集的子集，从一个空集开始，在每次迭代中首先计算 中l(W;(X,y),(4)目标函数的最小值，然后找出与（5）最违背的约束并将其添加到2 中.注意给c赋值(c1，C n）时，对应问题（5）的约束条件要求在当前的W满足：c=max进而算法继续优化Q，直至最违背的约束未超出期望精度e.具体而言，Cutting-Plane算法的迭代流程如下：(5)第2 6 卷第3期表 2 Cutting-Plane算法输人：训练集Xrain，参数C，精度eStep 1:夜初始化集合2 QStep 2:VWhile Z,c.-Z-cy,(wx.)$+en(W,)argminw.o2I W II-CEs.t.wD.c.yX.2c.-snFori=l,.,n1,y,(WTx,)H,2.tt2=L，aL.i=i+yiy2(i-2).当i，计算完成之后，更新E，和b：E,=Z,jyjk(X,X,)-y,(i=1,2).(9)由于SMO算法在每个子问题中选择两个变量白建超，陈泓桦：基于SVM的SAR图像变化检测方法研究(=1,则转向Step4;否则令k=k+1，转向Step2Step 4：输出近似最优解=(+1).3.2双坐标下降算法双坐标下降算法（简称DCD）是Cho-Jui Hsieh等人15提出的一种针对大规模数据的线性SVM算法.DCD是基于对偶问题（3）的一种类梯度下降算法.问题(3）可变形为：min f()=JrTT Q-eTs.t.0iC,i=1,2,.,M.=2+y2(E-E,),其中Q=y;y,xx;,C为问题(3）的松弛因子eT为标准单位向量.双坐标下降算法优化策略与SMO算法类似，采用“分而治之”的思想，即对各个分量交替求解.分治的过程由两层循环来实现：外层循环是对收敛条(7)件进行判断，控制算法的精度；内层循环逐个对分量进行更新.整个优化过程可以用收敛序列（，(8)，,）表示，且满足lim=*，这里*表示最优解.换言之，当算法执行到第k个外循环和第i个内循环时，各分量具体为：a=(t,.,a,at,am).79来优化，且至少一个变量是违反最优性条件的，所以外层循环在训练样本中选取违反最优性条件最严重的样本作为第一个变量1，进而验证样本（X，y）是否满足最优性条件：(i=0yig(X,)1,30iCyig(X,)=1,(;=0yig(X,)1.这里 g(X.)=Zmjyjk(X,X,).接下来需要在内循环中找第二个变量2，选择2的标准是希望能使2有足够大的变化，而2是依赖于|Ei一E2|的.为了加快计算速度，最简单有效的做法是选择2使其对应的|Ei一E最大.表3SMO算法输人：训练集Xtrain，参数C,期望精度，核函数k（，）Stepl：初始化(0）=0,令k=0Step2：根据KKT条件和E一E，选取子问题的优化变量a，a，根据（7)（8)得a),akStep3：若在精度内满足停机条件：1,(;/:=0,yig()1,;l:=C),(10)else.(11)80利用更新k.+1时，需要求解以下问题：min f(+de.)ds.t.0+dFori=l,.,M,aii,G=y,WTai-1(min(G,0),if;=0PG=max(G,0),if;=C(G,if 0iCif PG|O:根据式(13）更新i:WW+（i一.)yix;enddual:2primal=1ww+c2 max(1-y.wx.,.0)2duality_gap=dual-primalStep3：输出近似最优解W.4实验及结果分析下面采用三组SAR图像作为测试样本.这三组SAR图像16 分别从三个不同的地点采集而得：第一组为19 9 7 年5月和19 9 7 年8 月拍摄的Ottawa地区的SAR图像，尺寸大小为2 90 2 50；第二组为中国黄河内陆水域地区SAR图像，前后拍摄时间为高等数学研究2008年6 月和2 0 0 9年6 月；第三组样本来自中国黄河人海口农田SAR图像数据集16 1，且所有的(12)Ground-Truth 图已知分别应用SMO算法、Pegasos算法、DCD算法和Cutting-Plane(CP)算法求解变化检测任务中的SVM模型，最终不同算法的表现见图4.从预测的变化图上可以直观地看出：2四种算法在第一组和第三组的测试样本上的整体表现不如第二组；而无论是哪一组样本，SMO算法表现最好，其预测的变化图中的边界相对最清晰，斑点噪声最少，CP算法和Pegasos算法次之,DCD算法最差.除了直观上的对比，下面将定量对比四种算法在SAR图像变化检测任务中的表现：分别用TP表示预测结果为正，且标签为正的样本个数；TN表示(13)（0iC,2023年5月预测结果为负，且标签为负的样本个数;FP表示预测结果为正，且标签为负的样本个数;FN表示预测结果为负，且标签为正的样本个数.查准率（Pr e c i s i o n）和召回率（Recall）分别为：Precsion=TPFp:Recll=TPFN.TP基于查准率和召回率，我们分别定义OA系数和F1系数为OATP+TN+FP+FN2 X Precision X RecallF1 Precision+RecallDIGround-TruthPegasosDCDDIGround-TruthTPTP+TNSMOCPSMO第2 6 卷第3期PegasosDIPegasos图4不同算法的可视化对比结果表5不同算法的定量对比分析结果样本算法PrecisionSMO0.44970.84390.94170.5867Pegasos0.12110.99010.68010.2158第一组DCD0.11680.98750.66730.2088CP0.26800.81790.89260.4037SMO0.78320.79340.93260.7883Pegasos0.55050.99210.87070.7081第二组DCDCPSMO0.6711Pegasos0.16360.99340.69900.2809第三组DCDCP根据预测结果和真实的标签值，实验中计算了各个算法的定量评估指标，结果见表5.由表5可以看出：SMO算法表现最好，CP算法和Pegasos算法次之,DCD算法最差.白建超，陈泓桦：基于SVM的SAR图像变化检测方法研究DCDCPGround-TruthSMODCDCPRecallOA0.50520.97960.84510.66660.61930.9710 0.90100.75620.53230.95690.59360.15670.9833 0.68580.27030.49420.9387 0.93950.647481为了进一步调查不同算法的数值表现效果，图5画出了四种算法在优化过程中目标函数值的变化趋势图.分析图5可知：DCD算法最早停机，但其停机时的目标值明显大于其余三种算法；而Pegasos算法和CP算法的收敛值比较接近且都小于DCD算法，但高于SMO算法.整体而言，SMO算法得到的目标函数值收敛曲线低于其它三种算法，其求解的结果较优.此外，算法的运行时长也是衡量算法优劣的一个重要指标.本实验记录了各个算法在每一次迭代中，优化参数所用的CPU时长，结果见图6.分析图6可知：虽然SMO算法在预测任务中表现最好，但由于其较为复杂的计算过程，其消耗的CPU时间最多；相反，虽然DCD算法效果最差，但计算速度最快.因此在使用SVM模型执行变化检测任务时，应结合具体的任务实际，选择相应最合适的算法.-DCD-pegasos102.CP-SMO10F1025050075010001250150017502000Iterations图5目标函数随送代次数的变化趋势图10(s)oLd1021010图6CPU时长随迭代次数的变化趋势图5总结与讨论本文将SVM模型应用于SAR图像变化检测任务，并结合实际问题场景，对包括SMO在内的四-DCDpegasos-SMOCP2505007501000125015001750Iterations200082种优化算法进行改进实现.大量实验结果表明：就最终得到的目标函数值而言，SMO算法优于其它三种算法.SMO算法之所以性能好,原因是该算法采用启发式迭代，在每次循环过程仅对两个参数进行优化，而且优化过程高效.Pegasos算法用于求解无约束可微优化问题，是一种基于小批量样本数据的随机梯度下降法，故在迭代过程会出现一定的扰动；CP算法由于每次迭代需要构造一个新的约束子集，其应用于核化SVM的时候实现较慢，但如果采用矩阵近似技术可能会克服这一不足;DCD算法是一种适用于大型线性SVM的方法，可以处理大规模数据问题.该方法虽然计算速度较快，但得到的目标函数值最差.在后续工作中，可以在SMO算法中设计一些加速迭代技术，以提高该算法的计算速度.参考文献1P.Liao.T.Chen,P.Chung.A fast algorithm for multi-level thresholdingJJ.Journel of Information Science&.Engineering,2001,17(5):713-727.2R.Johnson,E.Kasischke.Change vector analysis:atechnique for the multispectral monitoring of land cov-er and conditionJJ.International Journal of RemoteSensing,1998,19(3):411-426.3W.Li,M.Lu,X.Chen.Automatic change detection ofurban land-cover based on SVM classification C.IEEE International Geoscience and Remote SensingSymposium,2015:1686-1689.4L.Bruzzone,D.Prieto.Automatic analysis of thedifference image for unsupervised change detectionJ.IEEE Transactions on Geoscience&RemoteSensing,2000,38(3):1171-1182.5J.Im,J.Jensen.A change detection model based onneighborhood correlation image analysis and decisiontree classification J.Remote Sensing of Environ-ment,2005,99(3):326-340.6Y.Li,M.Gong,et al.Change-detection map learningusing matching pursuitJJ.IEEE Transactions on Geo-ence&Remote Sensing,2015,53(8):4712-4723.7T.Celik.Unsupervised change detection in satellite im-ages using principal component analysis and k-Meansclustering JJ.IEEE Geoscience&Remote SensingLetters,2009,6(4):772-776.8S.Krinidis,V.Chatzis.A robust fuzzy local informa-tion C-Means clustering algorithmJ.IEEE Transac-tions on Image Processing,2010,19(5):1328-1337.9R.Daudt,B.Saux,A.Boulch.Fully convolutional sia-mese networks for change detectionC.The 25th高等数学研究IEEE International Conference on Image Processing,2018,4063-4067.1o L.Mou,L.Bruzzone,X.Zhu.Learning spectral-spa-tial-temporal features via a recurrent convolutionalneural network for change detection in multispectralimageryJ.IEEE Transactions on Geoscience andRemote Sensing,2019,57(2):924-935.11H.Chen,Z.Shi.A spatial-temporal attention-basedmethod and a new dataset for remote sensing imagechange detectionC.Remote Sensing,2020,1662(12):1-23.12S.Shwartz,Y.Singer,N.Srebro,A.Cotter.Pegasos:primal estimated sub-gradient solver for SVMJJ.Math-ematical Programming，2 0 11,12 7(1):3-30.13T.Joachims.Training linear SVMs in linear timeC.Proceedings of the 12th ACM SIGKDD InternationalConference on Knowledge Discovery&.Data Mining.2006:217-226.14 J.Platt.Sequential Minimal Optimization:A Fast Al-gorithm for Training Support Vector Machines J.Technical Report MSR-TR-98-14,1998.15C.Hsieh,K.Chang,C.Lin.A dual coordinate meth-od for large-scale linear SVMJ.Mathematical Pro-gramming,2008,25(1):6-20.16Y.Li,M.Gong,L.Jiao,et al.Change-Detection MapLearning Using Matching PursuitJ.IEEE Transac-tions on Geoscience&.Remote Sensing，2 0 15,53(8):47124723.17F.Bovolo,L.Bruzzone,M.Marconcini.A novel ap-proach to unsupervised change detection based on asemisupervised SVM and a similarity measureJ.IEEE Transactions on Geoscience and Remote Sens-ing,2008,46(7):2070-2082.18M.Gong,Z.Zhou,J.Ma.Change detection in syn-thetic aperture radar images based on image fusionand fuzzy clusteringJJ.IEEE Transactions on ImageProcessing，2 0 12,2 1(4):2 141-2 151.19袁晓谦，陈超，田姗.基于邻域信息的SAR图像变化检测J.激光杂志，2 0 2 1，42（0 1）：118 12 3.20睦海刚，冯文卿，李文卓，孙开敏，徐川.多时相遥感影像变化检测方法综述J.武汉大学学报，2 0 18，43(12):1885-1898.21董岳，王飞.KCCA与SVM算法支撑下的遥感影像变化检测J.遥感信息，2 0 19，34（0 1）：144-148.22周志华.机器学习M.北京：清华大学出版社，2016:97-113.23李航.统计学习方法M.北京：清华大学出版社，2012:95-130.2023年5月