改进中心先验的显著性检测.pdf

第37 卷第3期2023 年 6 月Journal of Jiangsu University of Science and Technology(Natural Science Edition)D0I:10.20061/j.issn.1673-4807.2023.03.010江苏科技大学学报（自然科学版）Vol.37No.3Jun.2023改进中心先验的显著性检测唐立婷，段先华（江苏科技大学计算机学院镇江2 12 10 0）摘要：针对传统基于中心先验的显著性检测算法不能均匀突出显著性目标的问题，提出改进中心先验的显著性检测算法.首先将输入图像分割成4种不同超像素尺度，对输入图像计算凸包；然后计算4种不同尺度下的背景显著图和前景显著图，将对应尺度下的背景显著图和前景显著图融合得到该尺度下的融合显著图，将凸包和4种不同尺度的融合显著图作为先验，计算4种不同尺度下的中心先验图；最后将得到的不同尺度的中心先验图经MKB算法优化得到最终显著图.在MSRA1000,PASCAL和ECSSD数据集上进行，实验结果表明所述算法在显著目标检测的准确性方面优于14种对比算法.关键词：中心先验；前景先验；背景先验；凸包；超像素；多尺度；显著性检测中图分类号：TP391Abstract:Aiming at the problem that traditional saliency detection algorithms based on center priors cannot uni-formly highlight salient object,this paper proposes an improved center prior saliency detection.First,the imageis divided into superpixels of four different scales and the convex hull of the image is calculated.Then,the back-ground saliency map and the foreground saliency map at four different scales are calculated.Third,the back-ground saliency map and foreground saliency map at the corresponding scale are fused to obtain the fused saliencymap.Fourth,the convex hull and the fusion saliency map of four different scales are used as prior information tocalculate the center prior map at four different scales.Finally,the center prior maps of different scales are opti-mized by MKB algorithm to obtain the final saliency map.Tests based on three types of public data sets,MSRA1000,PASCAL and ECSSD show that compared with the current 14 state-of-the-art algorithms,the algo-rithm performs well in terms of accuracy.Key words:center prior,foreground,background prior,convex-hull,superpixel,multi-scale,saliency detec-近年来，显著性检测技术作为计算机视觉领域动，不具有普适性.自底向上的模型基于底层特征重要的预处理步骤得到研究者的广泛关注，它利用刺激由数据驱动，将先验和期望等高层语义知识融计算机模拟人类视觉注意机制，在图像中快速搜索检测模型中,更精确定位目标对象,适应性更广。到用户感兴趣的显著区域.根据视觉注意力机制的所以，自底向上的模型成为现在的主流.处理过程可以将显著性检测方法分为两类：一类是显著性检测的目的是突出前景区域即目标区自顶向下的计算模型,另一类是自底向上的计算模域，抑制背景区域，通常基于先验信息计算显著值，型.自顶向下的计算模型结合高层信息且由任务驱一般先验信息包括边界先验，中心先验，前景先验，收稿日期：2 0 2 1-0 3-0 7基金项目：国家自然科学基金资助项目（6 17 7 2 2 44）；江苏省研究生科研与实践创新计划项目（KYCX18_2331）作者简介：唐立婷（1995一），女，硕士研究生*通信作者：段先华（196 5一），男，教授，研究方向为图像处理、模式识别.E-mail：18 2 50 7 0 40 9 q q.c o m引文格式：唐立婷，段先华.改进中心先验的显著性检测J.江苏科技大学学报（自然科学版），2 0 2 3,37（3）：6 0-6 5.D0I：10.2 0 0 6 1/j.i s s n.1673-4807.2023.03.010.文献标志码：ASaliency detection via improved center priorTANG Liting,DUAN Xianhua(School of Computer,Jiangsu University of Science and Technology,Zhenjiang 212100,China)tion文章编号：16 7 3-48 0 7(2 0 2 3)0 3-0 6 0-0 6第3期背景先验1-2 .单一或者较少先验信息建立的显著性检测模型效果不理想.因此,文中提出了一种基于改进中心先验的显著性检测方法，首先将输人图像分割成4种不同超像素尺度，并对输人图像计算其凸包；然后计算4种不同尺度下的背景显著图和前景显著图,将对应尺度下的背景显著图和前景显著图融合得到该尺度下的融合显著图，以凸包和四种不同尺度的融合显著图为先验，结合图像的Lab颜色特征，局部二值模式（localbinary patterns，LBP）纹理特征和RGB特征分别计算4种不同尺度下的中心先验图；最后将得到的不同尺度的中心先验图经多核学习（multiplekernelboosting，M K B）算法优化得到最终显著图.不同尺度的中心先验图经多核学习MKB算法优化得到最终显著图.1改进中心先验的显著性算法1.1前景显著图和背景显著图计算流形排序算法3（manifoldranking，M R）利用数据集内在的流形结构建模出一个图模型,所有的数据点在图模型中通过迭代传播将它们的排序值传播给相邻节点，直到排序值收敛，最后的排序依据排序值的大小.MR算法主要步骤如下：步骤1 G=(V,E)是数据集X上定义的一个有向图,数据集X由图的节点V组成，由关联矩阵唐立婷，等：改进中心先验的显著性检测E确定图的边缘；步骤2 计算E的关联矩阵，其中W=wj,nn,其中w,=exp(-Il c;-c,l-o)(i,jeV),并加上自我约束；步骤3计算图的度矩阵D=diagid,dml,其中di=Zwj;步骤4流形排序函数转化为：f*=(D-W)-1式中=1/(1+).MR算法从4个方向的边界节点获取背景特征,算法的查询节点从背景特征中选取，然后进行流形排序.将上边界的超像素作为查询种子，令指示向量y,=1,i表示上边界超像素索引,代人式（1)得到以上边界节点为查询种子的排序值f*由此关于上边界图像显著图：S(i)=1-fi=1,2,.,N式中：N为超像素个数，同理，可以计算出显著图S,、SI、S.,它们分别使用下、左、右边界的超像素节点作为背景种子点，融合4个显著图：Sb10o=S,(i)xS,(i)S,(i)S,(i)i=1,2,.,N由式（3）可以计算出其他超像素尺度下背景显著图 Sh150,S z200,Sh250 如图1.61(1)(2)(3)(a)原图文中算法以凸包内的超像素为前景查询节点进行流形排序,其前景特征从凸包内部区域节点获取.令指示向量y;=1,i表示前景节点，代入式（1）计算得到排序向量f.aian由此以前景节点为前景特征的前景估计显著图：(b)100超像素Fig.1Multi-scale background saliency map(c)150超像素图1多尺度的背景显著图相应地不同尺度下以前景特征为先验的显著图S法依据将凸包内部区域作为前景特征,且采用多尺度和多特征计算前景显著图,前景显著图如图2.(d)200超像素Sqian(i)=1-faiani=1,2,N(e)250超像素(4)(a)原图(b)100超像素Fig.2 Multi-scale foreground saliency map(c)150超像素图2 多尺度的前景显著图(d)200超像素(e)250超像素621.2改进中心先验计算将获得的4个尺度下的前景显著图与背景显著图分别融合，由于不同尺度下得到的前景显著图和背景显著图存在差异,采用加权平均来获得融合结果：Sr10=a*Saianlo+b*S h100式中：a+b=1,和b系数由4种尺度统计结果获得.由此可以计算出其他尺度SR150，SR2 0 0，SR2 50 融合显著图.依据融合显著图计算4种尺度下的中心坐标为：(x,y)e2y,=Zy*f(x,y)(x,y)eQ计算原图的感兴趣点的凸包，以估计显著目标的大致位置，然后使用凸包的质心作为中心（xt，y）.为提高中心先验检测的准确性,综合融合显著图中心和凸包中心，得到最终先验中心坐标（xn，yn）为：x,=(x,+x,)/2Ly,=(y,+y,)/2超像素i的显著性定义为：S(i)=exp(20式中：；和y；为超像素i的平均水平和垂直位置；，和,为水平和垂直方差.使用一个中心各向异性高斯分布模型的中心先验图,即设,=，像素坐标归一化为0,1.由式（8)可得到4种尺度下的中心先验图Se150,Sc200,S250图3是不同尺度下中心先验图.(a)100超像素(c)200超像素图3不同尺度下的中心先验图Fig.3 Central prior diagram at different scales1.3优化显著性结果为了进一步提升检测效果,采用MKB算法对江苏科技大学学报（自然科学版）结果进行优化，通过采用多个支持向量机（supportvector machine,SVM)以及多个核函数进行强分类器.将得到的中心先验图作为弱显著图，计算步骤如下：步骤1依据弱显著图得到样本集合（r，(5)l.1=,其中T，为训练样本,l.为对应的二值标签,H为训练样本数量，由k(r,r）=mkm（r,r i）得到多个 SVM 核函数 1 k.l-1;步骤2 决策函数可转化为：JY(r)=Z/z;(r)Zf(x,y)通过决策函数可得到4个尺度的强显著图(x,y)en(6)Zf(x,y)(x,y)e(7)(8)20;(b)150超像素(d)250超像素2023年Mm=1合，得到算法最终的显著图为：式中:0,+2+g,+o4=1.文中算法最终效果对比图,如图4.(a)原图(b)GR算法(c)文中算法(d)真值图4文中算法与GR算法最终显著性结果对比Fig.4Comparison of the proposed algorithmand the GR algorithm2实验结果与分析文中实验平台环境为Windows10系统，2.8 0GHz CPU,8 GB 内存,Matlab-R2018b.文中算法与当前 14 种算法:HDCT,BL2,GMR3,MR4,SF5,AC6,SR7,PCA8,GS9,LMLC10,RBD,BSCAL12，FT 13,CR14 在公开数据集ECSSD、M SRA 10 0 0、PA SCA L-S上进行对比，从而验证文中算法的有效性和准确性.图5 8 为文中算法与当前主流的14种算法在准确率-召回率以及F-measure方面的实验对比.(9)(10)第3期1.00.80.60.4.HDCT4.PCA0.2-B-SFBSCAGR中00.21.0(a)文中算法与算法1 7 对比0.80.60.4-RBDLMLC0.2-FTGMRM艾中00.2(b)文中算法与算法8 14对比图515种算法在MSRA1000数据集上准确率-召回率曲线Fig.5 Precision-recall curves of 15 algorithms0n MSRA10001.00.8+i+0.6000-00.4-HDCT4ACPCA0.2-SFBSCAGR艾中00.21.0(a)文中算法与算法1 7 对比0.80.60.40.20图6 15种算法在ECSSD数据集上准确率-召回率曲线Fig.6 Precision-recall curves of 15 algorithmson ECSSD唐立婷，等：改进中心先验的显著性检测.000-0-00.4HDCT4SRACPCA0.2BSCASFGR文中00.2(a)文中算法与算法1 7 对比1.00.40.6召回率0.40.6召回率0.40.6召回率+RBDLMLCGMRMR艾中0.2(b)文中算法与算法8 14对比631.0r0.80.60.81.00.81.00.81.00.40.6召回率0.4召回率0.80.40.20图7 15种算法在PASCAL-S数据集上准确率-召回率曲线Fig.7Precision-recall curves of 15 algorithmson PASCAL-S准确率1.0r招简率jF-measure0.80.60.40.20PCAACLMLCSFRBDSRGSHDCT BSCA GMRGR(a)MSRA1000数据集上对比结果1.0r携确率招简率jF-measure0.80.60.4F0.20PCAACLMLCSFRBDSRGSHDCTBSCAGMR(b)ECSSD数据集上对比结果1.0准确率招回率jF-measure0.80.60.40.20.81.00.6RBDLMLCGMRMR艾中0.2(b)文中算法与算法8 14对比FTBLMR文中FTBLMR文中GR0PCAACLMLCSFRBDSRGSHDCTBSCA GMRGR(c)PASCAL-S数据集上对比结果图8 与其他算法比较的准确率-召回率和F-measure 的柱状图Fig.8Comparision of precision-recall curves andF-measure with other methods0.80.40.6召回率FTBLMR文中1.00.81.064从图5可以发现文中算法准确率与RBD、GMR的准确率接近,召回率对比RBD、G M R优势明显.与其他算法相比，在召回率和准确率方面优势明显.从图8（a）分析得文中算法准确率高于RBD算法,且文中算法准确率-召回率要优于GR算法.与其他算法相比,文中算法优势明显.综合指标F-measure 略高于RBD算法,远高于所对比的其他算法.从图6 分析可知文中算法在准确率方面与HDCT算法接近,但在召回率方面文中算法远高于HDCT算法.与其他算法相比,文中算法的在准确率-召回率优势明显.从图8(b）中对比结果可知，同样在最优阈值情况下文中算法检测结果略高于HDCT算法，但F-measure要高于HDCT算法,说明文中算法检测表现更稳定，检测效果更加完善且趋于真实值.图7 可以发现文中算法在准确率方面与江苏科技大学学报（自然科学版）GMR算法和RBD算法接近，在召回率方面要远优于GMR算法和RBD算法.通过图8（c)对比发现文中算法的召回率略高于RBD、BSCA 算法，但准确率远高于RBD、BSCA 算法.在准确率与召回率方面远高于其余主流算法.综合指标F-meas-ure虽然与RBD算法相近，但总体上要优于其他对比的13种算法.文中算法与上述14种算法的视觉效果比较，如图9.文中算法在检测目标完整性方面与RBD和BSCA算法效果接近，但是对于一致高亮突出显著目标方面，文中算法要优于RBD算法和BSCA算法,具有很好的视觉效果,能够一致高亮的突出前景目标，解决了因目标影子等造成的误检现象,从而更好突出整个显著物体，显著目标检测完整性更优.与GT相比,文中算法检测效果与其接近.从图9中可以看出文中算法对比度更好.2023年(a)原图(b)SR(c)AC(d)SF图9文中算法与其他主流显著性检测算法的显著图效果对比Fig.9 Saliency map comparison of the proposed algorithm with other mainstream saliency detection algorithms3结论文中提出改进中心先验的显著性检测,该算法解决了传统基于图的中心先验显著性检测算法适用性不高以及无法均匀突出显著性目标的问题,并取得很好的效果，同时给出一种多尺度凸包检测方法，更好地提升背景检测与前景检测效果.通过实验分析可以发现文中算法对一小部分目标较多或者背景复杂图像的检测效果稍有欠缺,因此接下来的研究工作将主要围绕进一步提高多目标图像检测准确率展开.(e)GS(f)PCA(g)GMR(h)LMLC(i)HDCTG)MR(k)BSCA()BL(m)RBD(n)GR(o)文中(p)GT参考文献(References)1 HUANG F,QI J,LU H,et al.Salient object detectionvia multiple instance learning J.IEEE Transactionson Image Processing,2017,26(4):1911-1922.2 1KIM J,HAN D,TAI Y W,et al.Salient region detec-tion via high-dimensional color transform C/2014IEEE Conference on Computer Vision and Pattern Rec-ognition.Columbus:IEEE,2014:883-890.3TONG N,LU H,RUAN X,et al.Salient object de-tection via bootstrap learning C/2015 IEEE Confer-ence on Computer Vision and Pattern Recognition(CVPR).Boston:IEEE,2015:1884-1892.4 YANG C,ZHANG L,LU H,et al.Saliency detection第3期via graph-based manifold ranking C/2013 IEEEConference on Computer Vision and Pattern Recogni-tion.Portland:IEEE,2013:3166-3173.5ZHOU D,WESTON J,GRETTON A,et al.Rankingon data manifolds C/Proceedings of the 16th Inter-national Conference on Neural Information ProcessingSystems（NI PS 0 3).Ca m b r i d g e:M I T Pr e s s,2 0 0 3:169-176.6 PERAZZI F,KRAHENBUHL P,PRITCHY,et al.Saliency filters:Contrast based filtering for salient re-gion detection C/2012 IEEE Conference on Com-puter Vision and Pattern Recognition.USA:IEEE,2012:733-740.7ACHANTA,R,ESTRADAF,WILS P,et al.Salientregion detection and segmentation C /Computer Vi-sion Systems.Berlin:Springer,2008:66-75.8HOU X,ZHANG L.Saliency detection:A spectral re-sidual approach C/2007 IEEE Conference on Com-puter Vision and Pattern Recognition.USA:IEEE,2007;18.9MARGOLINR,TALA,ZELNIK-MANORL.Whatmakes a patch distinct C/2013 IEEE Conference onComputer Vision and Pattern Recognition.Potrland:唐立婷，等：改进中心先验的显著性检测10WEI Y,WEN F,ZHUW,et al.Geodesic saliency u-sing background priors C /Proceedings of the 12thEuropean Conference on Computer Vision.Berlin:Springer,2012:29-42.11 XIE Y,LU H,YANG M.Bayesian saliency via lowand mid level cues J.IEEE Transactions on ImageProcessing,2013,22(5):1689-1698.12 Zhu W,Liang S,Wei Y,et al.Saliency optimizationfrom robust background detectionC/2 0 14 I EEEConference on Computer Vision and Pattern Recogni-tion.Columbus:IEEE,2014:2814-2821.13 QIN Y,LU H,XU Y,et al.Saliency detection viacellular automata C/2015 IEEE Conference onComputer Vision and Pattern Recognition.Boston:IEEE,2015:110-119.14 ACHANTA R,HEMAMI S,ESTRADAF,et al.Fre-quency-tuned salient region detection C /2009IEEE Conference on Computer Vision and Pattern Rec-0gnition.USA:IEEE,2009:1597-1604.（责任编辑：曹莉）65IEEE,2013:1139-1146.