CCA图像语义特征提取分析与研究应用报告.doc

基于CCA图像语义特征提取分析和研究基于经典相关分析特征融合图像语义特征提取分析和研究摘要：图像语义特征在图像比较，查找中含有很关键作用。它提供了对图像特征正确描述。图像语义特征提取含有很多个方法。本文介绍了颜色直方图，边缘方向直方图，边缘直方图，局部二值模式对所提取数据进行处理，使用处理后数据来比较图像之间相同度。并据此进行检索。取得了显著改善。针对现在大部分图像语义特征提取算法中，因图像特征提取不妥，造成特征参数不能全方面反应图像语义问题，提出了一个基于经典相关分析特征融合图像语义特征提取方法。首先分析比较了颜色直方图，边缘方向直方图，边缘直方图，局部二值模式LBP），纹理距描述等五种特征参数在表示图像语义方面存在差异。依据分析比较结果，对每一幅图像分别选择可伸缩颜色描述子提取颜色特征，使用改善LBP算子提取纹理特征，再使用高维小样本下经典相关分析对提取两种特征进行特征融合。试验结果表明所提出方法显著提升了图像语义特征提取正确度。能有效地建立图像低层特征和语义特征间一致性。关键字：图像语义，经典相关分析，直方图，相同度，检索Abstract：image semantic feature is very important in imagecontrast and imageretrieval. It provides an accurate description for image feature.Many methods can be used to extract image semantic feature. This paper introduces five methods：color histogram edge direct histogram, edge histogram, local binary pattern,texture moment description .We compare the advantages and disadvantages of the five methods. Make use of the advantages of every method to extract image feature. Then we process the data using canonical correlation analysis. At the end, we calculate the similarity between pictures with the processed data. Seek related images according to the similarity. We achieved significant improvements.Keywords:image semantic, canonical correlation analysis,histogram,similarity,retrieval1引言伴随计算机科学技术进步，尤其是图像处理技术发展，人类所取得图像信息越来越多，对图像进行处理要求也越来越强烈。在这众多图像中，为了取得我们所需要图片。就要求我们提供好图像检索技术。方便正确搜索出要找图片信息。图像检索技术发展至今，形成了多个关键检索技术，包含基于文本图像检索，基于内容图像检索和基于语义图像检索。基于文本图像检索需要手工对图片库进行语义标注，这就需要花费大量人力，物力。同时标注还带有很强主观性。基于内容图像检索CBIR）1就克服了基于文本检索不足。CBIR关键利用图像纹理，颜色，形状，轮廓和对象空间关系来对需要图像进行检索。以后大家发觉，我们在检索中，需要是图像语义信息，而不是图像颜色，纹理等信息。这么就形成了基于语义图像检索。这么就是就是我们得检索尽可能贴近大家对图像内容了解，从而能够根据用户自己对图像了解来进行图像检索。在进行图像语义检索中，正确提取图像语义特征就显得很关键了。图像语义提取过程就是把我们取得图像底层特征转化为高层语义过程。这个过程很关键，大家熟知“语义鸿沟”问题就是因为转化不正确造成。比如用含有蓝天，白云做样图可能搜索到大海，蓝色旗帜等颜色相同图像。就是因为底层特征转化为高层语义时，没有考虑到具体情况，转化不正确造成。2图像语义特征提取2混合特征提取21 基于可伸缩颜色描述子颜色特征提取。22基于改善LBP算子纹理特征提取。23 多种特征分析和比较对于给定一幅图像，我们要提取图像语义特征关键有两方面，一是全局语义特征，另一个是局部语义特征。我们能够利用图像分割技术提取分割后区域特征，进而得到整体图像特征。本文提取语义特征关键是全局特征。我们依据图像颜色，纹理，形状来提取全局特征，使用得到语义特征来检索需要图像。依据底层特征，导出高层语义，经过相同性比较，在图片库中查找相关图片。颜色特征是使用最多图像语义特征之一。因为我们使用是彩色图像，所以颜色特征很关键。提取图像颜色特征最关键是选择一个适宜颜色空间。我们使用是基于HSV颜色空间，H:色彩，S：饱和度，V：值。纹理特征是另一个关键图像语义特征，它不依靠和图像颜色或亮度，就能够反应图像视觉特征。经典纹理特征有粗糙度，对比度，方向性，规则性，线相同性，灰度共生矩阵等等。选择符合人感知特征纹理特征，能够有效检索相关图像。边缘特征是我们全部提取目标特征和背景特征分界线。边缘是一个区域和令一个区域分界，边缘所分开区域内部特征或图像属性和另一个区域是不一致。正是基于此特征，我们才能使用边缘特征来检索图像，识别图像。边缘特征对于边界区分显著图像效果愈加好。形状特征是另一个关键图像语义特征。它实现必需以图像中物体或区域划分为基础。对于有些查询，同一物体，颜色很多，不过它形状总是一样，此时，形状特征就有很好作用。假如我们要查询图像是相关部分图形，这个时候使用形状特征效果就愈加好了。以上四种特征时我们在提取图像语义特征时常常见多个特征。基于以上多个图像特征，中国外研究者提出了很多个图像语义特征提取方法。有时为了取得愈加好效果，我们会综合这多个特征来提取图像语义特征。本文要做就是结合这多个特征优点，来提取想要好图像语义特征向量，并将这些特征向量使用CCA910方法进行处理后。在提供图像库中检索和目标图像相关图像。3.特征分析3.1本文中用到距离公式3 基于高维小样本下CCA特征融合3.1 经典相关性分析。3.2图像相同测度为了对图像语义特征集进行相同性度量。我们使用了三种常见距离计算公式：假定两个点向量为。下面给出三种距离计算公式。3）直方图交叉选择距离3.1.3）3.2颜色直方图图像颜色空间有很多个表示方法，本文选择HSV颜色空间，集色调H，饱和度S，亮度V。因为我们取得图像是在RGB空间中，所以首先要把图像颜色空间转换为HSV空间。假如使用HSV颜色直方图来描述图像整体颜色特征，所用到特征向量就会很多，所以在计算之前，要对HSV空间进行量化。我们使用HSV空间上256级bin）直方图，把H均匀划分为16级，S均匀划分为4级，把V均匀量化为4级。这么使用颜色直方图级数为16*4*4=256级。本文使用是可伸缩颜色描述子2。通常256bins直方条）中，每一条全部要使用11bit来表示。这么存放空间就很大。显然，假如用尽可能少比特来表示一幅图像，检索速度就会大大提升。这就是可伸缩颜色描述子。为了实现“可伸缩长”颜色描述子。需要使用HAAR变换。在HAAR变换前，我们把直方图每个bin表示有11bit非均匀量化为4bit。HAAR变换关键作用就是降低描述颜色直方图比特数。HAAR变换基础操作是和操作和差分操作。经过一次和操作，直方图256bins）数就会减半。迭代一次减半。HAAR变换高通差分）系数包含了大部分图像细节信息。下面给出HAAR函数公式。3.2.1）HAAR函数是定义在0,1区间函数。其中p=1,2,.；n=0,1,2，.HAAR变换公式为：其中等式左边是变换矩阵序列。是阶哈尔矩阵，等式右边矩阵是时间序列。总来说由直方图得到过程步骤为：首先256级颜色直方图非线性量化，然后经过HAAR变换，变换后在进行线性量化，最终得到哈尔变换系数。经过这些系数来进行图像匹配，就能够实现图像检索。检索速度会大大提升。3.3距描述距描述13是形状构图，它是图像形状全局描述，它把图片面积，紧凑度，不规则性，和高阶描述符综合在一起来描述图像全局特征。图像分析中使用大多数是统计矩，它是图像全局区域描述。能够进行含有不变形图像全局描述。函数p，q阶矩，3.2.1）其中表示对应于位置特征图像I函数，p，q是参数。图像I质心定义为1阶矩和0阶矩比值。3.2.2）下面我们给出图像I中心距计算公式，表示像素大小，表示p，q阶中心距，是图像I质心。3.2.3）中心距含有平移不变性，也就是说，它仅对位置改变保持不变，为了实现尺度和旋转不变性，我们能够经过对中心距正规化来实现。正规化后中心距计算公式为：梯度方向：(3.4.2其中表示图像I中i行，j列像素。是I1中对应位置像素值，是I2中对应位置像素值。T梯度幅值表示了图像区域边缘锐度，梯度方向则表明图像区域边缘方向。依据梯度幅值和梯度方向就能够得到边缘方向直方图。3.6 局部二值模式LBP）局部二值模式LBP）3首先是用来做图像局部特征比较，传统LBP方法，首先经过阈值来标识中心点像素和其邻域像素之间差异。LBP是人脸识别中常常使用一个方法。最早LBP算子是定义在3*3邻域上。它使用中心像素值来计算8邻域像素。然后在乘以领域权值得到结果。下面我们给出一个例子：Example 643752895Threshold1001*0111/5 (4+3+2/3 =6Weights124128*8643216我们使用二维分布LBP和局部对比测量C作为该领域特征。不过为了使得到特征更有代表性。矩形领域大小是能够改变，能够使用4*4或5*5领域。相比矩形领域，圆形对称领域效果愈加好。下面全部是基于圆形对称领。假设P：圆形对称领域除了中心点像素数目。R：圆形对称领域半径。表示圆形对称领域中心点像素值，表示圆形对称领域其它点像素值。我们使用统计来描述图像特征。T表示P+1级图像像素联合分布。T：3.4.1）因为值是平均值，能够从得来，再假设和图像特征无关。全部T能够改写为：3.4.2）再则描述是整体特征，图像领域整体和无关，仅和相关。同时为了实现灰度级不变性，我们考虑在T中使用符号函数s。化简上式得到：3.4.3）最终为了得到LBP值，我们把二进制权值赋给每一个得到LBP： 分割，能够保持空间信息，区域旋转不变性。为了实现LBP算子灰度级一致性和旋转不变性。我们新定义一个量U：3.4.5）依据U值我们化简LBP：3.4.6）这就是我们得到最终LBP结果，和此同时，改变P，R值我们能够取得愈加好LBP图像特征来用于图像比较。4经典相关分析经典相关分析又叫经典分析，是分析两组变量之间关系一个方法，对于有联合分布关系两组向量，我们要分析其中一组变量和另外一组变量之间关系。研究者可能有两组很大变量，不过它只想得到这两组变量中相关度最高变量直接按关系这个时候使用经典相关分析CCA）就是一个很好方法。举个例子，相关人体两组变量，一组是形态指标：身高，坐高，体重，胸围，肩宽，盆骨宽，另一组是机能指标：脉搏，收缩压，舒张压，肺活量。我们就能够使用CCA来研究者两组变量之间关系。下面给出具体分析。对于两组变量线性组合：4.1）其相关系数为4.2）我们首先要考虑问题就是什么时候取得最大值。假设X是一组数据，Y是一组阶数据。Z=X,Y）。中心化Z,计算：4.3）这是X和Y协方差阵。下面我们给出连个基础定义。定义1：令，对K进行奇异值分解得：4.4）其中是对应于特征向量，是对应于特征向量。D是或奇异值组成对角矩阵即：。假如我们令条件下(4.6在条件下取得最大值。经过以上分析我们给出CCA算法步骤：算法：CCA求解算法。Input：X：一组数据，Y：一组阶数据。Output：我们所要求经典变量。Step 1：我们首先将X,Y标准中心化，给句公式4.3计算Z协方差矩阵S。Step 2：计算K,值，假设rank(=rank(=k，求,非零特征向量，。和非零特征值。Step 3：依据公式4.5）计算X，Y第对经典向量，。Step 4：依据计算X，Y第对经典变量，和X，Y经典相关系数，从大到小排列以下，。得出X，Y经典变量后，对于原来数据计算，我们就能够使用经典变量来替换就行了，本文中，我们原先直接使用颜色直方图，LBP值等五种特征来度量图像之间相同度。经过CCA处理后，我们能够直接使用经过CCA处理后特征来度量图像之间相同度。试验证实，使用CCA后效果比原先是不用CCA效果要提升了很多。5试验结果我们从coral5k图像库中选择25类图像，每类40张。供1000张图像来检索。每类随机抽取五副作为实例图像。每次验证查准率共完成25*5次查询。1）我们首先比较三类距离优缺点。以下图所表示：使用平均查准率和平均查全率来衡量。图 1）从图中我们知道histintersection距离显著优于其它两种计算距离方法，取得了最好效果。这也为我们下面试验奠定了基础。2）下面我们来比较五种不一样特征平均查准率正确率。这五种描述图像全局特征分别是颜色直方图，边缘方向直方图，边缘直方图，局部二值模式lbp），纹理距描述。我们选择五类图片来做比较分别是horse类，car类，tiger类，sun类，flower类。得到查准率以下图。图 2）分析上图我们能够看出，因为图像彩色信息十分显著，所以颜色直方图到得效果最好。在每类中，正确性全部高于其它四种特征描述。同时，能够看出最终一个情况，使用纹理来进行查询效果很差，远远低于其它方法。分析该图，还能够看出，除了car类这一特殊情况外，使用局部二值模式效果比颜色直方图落差一点。即使颜色直方图效果好一点。我们能够看出五种情况平均正确率并不高，效果最好颜色直方图正确率才为66.0000%，而最差平均查准率才为11.5000%。为了处理这种不利情况，下面我们就提出处理这一问题方法。3）总来说，单独使用一个方法，取得试验效果并不是很好。我们把这五种特征结合起来，利用不一样方法各自优点就能够取得好一点效果，假如使用CCA对得到数据进行处理，得到效果就好多了。这也是本文关键，关键所在。 我们在horse类上验证颜色直方图，边缘方向直方图，边缘直方图，局部二值模式lbp），纹理距描述五种语义特征加CCA处理后情况。以下图，我们分析知道：颜色直方图和lbp进过CCA处理后效果最显著。Colorhist查准率由60%增加到68.5%，提升了8.5%。lbp查准率由32.5%增加到45%，提升了12.5%。不过edgedirection查准率基础上没有改变。Edgehist和texture效果也有了提升。然而它们查准率并不高。图 3）4）基于前面分析，histintersection距离效果比很好，基于此距离计算公式我们进行分析。在1：颜色直方图:2：边缘方向直方图，3：边缘直方图:4：局部二值模式lbp），5：纹理距描述五种方法中，由试验3）可知颜色直方图和lbp语义效果最好，我们把这五种方法结合起来，来分析图像语义特征。假设，其中表示第种语义特征描述方法，表示第种语义特征描述方法加权系数。经过试验验证，我们知道，取得效果最好。因为颜色直方图和lbp语义效果比其它三种方法要好，故它们系数较大，由试验2），试验3）分析知：边缘直方图和纹理距描述效果比较差，所以其加权系数设置比较小。图4），图5）给出了一次查询效果，从图4）中我们知道在显示16张图片中只查询出了10张相关图片，不过假如我们使用CCA后，图5）我们查询出了14张相关图片，正确率有了很大提升。图 4） 图 5）图6），我们在car，plane，horse，bear，sun五类图像中验证比较了使用五种方法综合效果，蓝色表示没有使用CCA查准率，深红色表示使用CCA查准率。分析知道，对于car类查询效果比很好，全部达成了100%，其它类，使用CCA查准率比不使用CCA效果要好多。plane，horse，bear，sun四类图像差准了全部提升了10%以上，使用CCA后horse，bear，sun查准率靠近了80%,plane类正确性由35%提升到了61.25%图 6）试验表明，使用经过CCA处理后图像语义特征来查询，比不使用CCA含有显著改善和提升。6小结 本文关键介绍了基于语义图像语义特征检索分析。提取了图像颜色直方图，边缘方向直方图，边缘直方图，局部二值模式LBP），纹理距描述等五种语义特征，比较了它们在进行检索是各自优缺点。并使用它们综合特征进行图像语义特征提取。然后使用经典相关分析:262-2822 Junath B, Rainer J, Vinod V, et al. Color and Texture Descriptors. IEEE Transaction on circuits and systems for video technology,.11(6:2022-20453 Xu Xianchuan, Zhang Qi. Medical Image Retrieval Using Local Binary Patterns with Image Euclidean Distance. Information Engineering and Computer Science,.11.pp1-44 Shu Liao, Albert C.S.Chung. Texture Classification by Using Advanced Local Binary Patterns and Spatial Distribution of Dominant Patterns. Acoustics Speech and Signal Processing.10. pp:I-1221-12245 Eanes Torres Pereira, Herman Martins Gomes. Integral Local Binary Patterns: a Novel Approach Suitable for Texture-Based ObjectDetection Tasks.Conference on Graphics, Patterns and Images. .10. pp:201-2086 Hai Xianwang, Member. Local Two-Dimensional CanonicalCorrelation Analysis. IEEE SIGNAL PROCESSING LETTER.12. pp:924-9247 ISO/IEC JTC1/SC29/WG11/N5062:”MPEG-7 requirements document”S.Singapore,8 Jeong S，won c SGray R MImage Retrieval Using Color Histograms Generated by Gauss Mixture Vector QuantizationComputer Vision and Image Understanding，94(123：44669 张润楚。多元统计分析M.北京:科学出版社.10 T.W.Anderson 著，张润楚，译.多元统计分析导论。北京，人民邮电出版社。11Canny J . A computational approach t o edge detection J .IEEE Transactions on Pattern Analysis andMachine Intelligence, 1986, 8 (6 : 6792-698 .12Fang Yuchun , Tan Tieniu , Wang Yunhong. Fusion of Globaland Local Features for Face Verification C IEEE International Conference on Pat tern Recognition ( ICPR . s. l . : s.n. ,.13 Mark S.Nixon. Albert s.Aguado. Feature Extraction and Image Processing.北京，电子工业出版社。