CCA图像语义特征提取分析与研究应用报告.doc

基于CCA图像语义特征提取分析和研究基于经典相关分析特征融合图像语义特征提取分析和研究

摘要：图像语义特征在图像比较，查找中含有很关键作用。它提供了对图像特征正确描述。图像语义特征提取含有很多个方法。本文介绍了颜色直方图，边缘方向直方图，边缘直方图，局部二值模式对所提取数据进行处理，使用处理后数据来比较图像之间相同度。并据此进行检索。取得了显著改善。针对现在大部分图像语义特征提取算法中，因图像特征提取不妥，造成特征参数不能全方面反应图像语义问题，提出了一个基于经典相关分析特征融合图像语义特征提取方法。首先分析比较了颜色直方图，边缘方向直方图，边缘直方图，局部二值模式tant in imagecontrast and image
retrieval. It provides an accurate description for image feature.Many methods can be used to extract image semantic feature. This paper introduces five methods：color histogram edge direct histogram, edge histogram, local binary pattern,texture moment description .We compare the advantages and disadvantages of the five methods. Make use of the advantages of every method to extract image feature. Then we process the data using canonical correlation analysis. At the end, we calculate the
similarity between pictures with the processed data. Seek related images according to the similarity. We achieved significant improvements.
Keywords:image semantic, canonical correlation analysis,histogram,similarity,retrieval
1引言
伴随计算机科学技术进步，尤其是图像处理技术发展，人类所取得图像信息越来
越多，对图像进行处理要求也越来越强烈。在这众多图像中，为了取得我们所需要图片。就要求我们提供好图像检索技术。方便正确搜索出要找图片信息。
图像检索技术发展至今，形成了多个关键检索技术，包含基于文本图像检索，基于内容图像检索和基于语义图像检索。
基于文本图像检索需要手工对图片库进行语义标注，这就需要花费大量人力，物力。同时标注还带有很强主观性。基于内容图像检索转化为高层语义过程。这个过程很关键，大家熟知“语义鸿沟”问题就是因为转化不正确造成。比如用含有蓝天，白云做样图可能搜索到大海，蓝色旗帜等颜色相同图像。就是因为底层特征转化为高层语义时，没有考虑到具体情况，转化不正确造成。
2图像语义特征提取2混合特征提取
2．1 基于可伸缩颜色描述子颜色特征提取
。。。。。。。。。。。。
2．2基于改善LBP算子纹理特征提取
。。。。。。。。。
2．3 多种特征分析和比较

对于给定一幅图像，我们要提取图像语义特征关键有两方面，一是全局语义特征，另一个是局部语义特征。我们能够利用图像分割技术提取分割后区域特征，进而得到整体图像特征。
本文提取语义特征关键是全局特征。我们依据图像颜色，纹理，形状来提取全局特征，使用得到语义特征来检索需要图像。依据底层特征，导出高层语义，经过相同性比较，在图片库中查找相关图片。
颜色特征是使用最多图像语义特征之一。因为我们使用是彩色图像，所以颜色特征很关键。提取图像颜色特征最关键是选择一个适宜颜色空间。我们使用是基于HSV颜色空间，H:色彩，S：饱和度，V：值。
纹理特征是另一个关键图像语义特征，它不依靠和图像颜色或亮度，就能够反应图像视觉特征。经典纹理特征有粗糙度，对比度，方向性，规则性，线相同性，灰度共生矩阵等等。选择符合人感知特征纹理特征，能够有效检索相关图像。
边缘特征是我们全部提取目标特征和背景特征分界线。边缘是一个区域和令一个区域分界，边缘所分开区域内部特征或图像属性和另一个区域是不一致。正是基于此特征，我们才能使用边缘特征来检索图像，识别图像。边缘特征对于边界区分显著图像效果愈加好。
形状特征是另一个关键图像语义特征。它实现必需以图像中物体或区域划分为基础。对于有些查询，同一物体，颜色很多，不过它形状总是一样，此时，形状特征就有很好作用。假如我们要查询图像是相关部分图形，这个时候使用形状特征效果就愈加好了。
以上四种特征时我们在提取图像语义特征时常常见多个特征。基于以上多个图像特征，中国外研究者提出了很多个图像语义特征提取方法。有时为了取得愈加好效果，我们会综合这多个特征来提取图像语义特征。
本文要做就是结合这多个特征优点，来提取想要好图像语义特征向量，并将这些特征向量使用CCA[9][10]方法进行处理后。在提供图像库中检索和目标图像相关图像。
3.特征分析
3.1本文中用到距离公式
3 基于高维小样本下CCA特征融合
3.1 经典相关性分析
。。。。。。。。。。。。。。
3.2图像相同测度

为了对图像语义特征集进行相同性度量。我们使用了三种常见距离计算公式：假定两个点向量为。下面给出三种距离计算公式。
<1）欧式距离
(3.1.1>
<2）余弦距离
(3.1.2>
<3）直方图交叉选择距离
<3.1.3）
3.2颜色直方图
图像颜色空间有很多个表示方法，本文选择HSV颜色空间，集色调H，饱和度S，亮度V。因为我们取得图像是在RGB空间中，所以首先要把图像颜色空间转换为HSV空间。
假如使用HSV颜色直方图来描述图像整体颜色特征，所用到特征向量就会很多，所以在计算之前，要对HSV空间进行量化。我们使用HSV空间上256级显然，假如用尽可能少比特来表示一幅图像，检索速度就会大大提升。这就是可伸缩颜色描述子。
为了实现“可伸缩长”颜色描述子。需要使用HAAR变换。在HAAR变换前，我们把直方图每个bin表示有11bit非均匀量化为4bit。HAAR变换关键作用就是降低描述颜色直方图比特数。HAAR变换基础操作是和操作和差分操作。经过一次和操作，直方图256式为：

其中等式左边是变换矩阵序列。是阶哈尔矩阵，等式右边矩阵是时间序列。
总来说由直方图得到过程步骤为：首先256级颜色直方图非线性量化，然后经过HAAR变换，变换后在进行线性量化，最终得到哈尔变换系数。经过这些系数来进行图像匹配，就能够实现图像检索。检索速度会大大提升。
3.3距描述
距描述[13]是形状构图，它是图像形状全局描述，它把图片面积，紧凑度，不规则性，和高阶描述符综合在一起来描述图像全局特征。图像分析中使用大多数是统计矩，它是图像全局区域描述。能够进行含有不变形图像全局描述。
函数p，q阶矩，
<3.2.1）
其中表示对应于位置特征图像I函数，p，q是参数。
图像I质心定义为1阶矩和0阶矩比值。
<3.2.2）
下面我们给出图像I中心距计算公式，表示像素大小，表示p，q阶中心距，
，是图像I质心。
<3.2.3）
中心距含有平移不变性，也就是说，它仅对位置改变保持不变，为了实现尺度和旋转不变性，我们能够经过对中心距正规化来实现。正规化后中心距计算公式为：
<3.2.4）
下面我们就能够利用正规化后中心距来定义不变矩，我们使用不一样p，q值组合定义了两个二阶不变矩，五个三阶不变矩等七个不变矩。在加上图像均值，方差，平滑度，三阶矩，一致性，熵等6个纹理统计量组成了距描述和统计描述13维全局特征向量。来帮助我们描述图像语义特征
3.4边缘直方图
边缘直方图是一个关键纹理分布信息。在进行图像和图像之间匹配时含有很关键作用。因为它描述了边缘空间分布信息。
给定一幅图像，我们把它分成4*4子图，我们把边缘类型分为五类，垂直，水平，45度斜角，135度斜角，等方向。对于每个边缘类型，我们给它分配一个二阶矩阵来描述它。所以每一幅图像直方图就有16*5=80种描述方法。
我们把每个子图再划分为更小子块。直到字块大小为2*2像素为止，为每个子块也分配一个矩阵来表示。统计每个子块边缘类型，即可得到子图直方图。再统计子图中多种类型个数，以最大数目标类型作为子图类型，就能够得到整幅图像边缘直方图。
这就是我们对边缘直方图简明介绍。
3.5边缘方向直方图
有时目标和背景色彩相近，或图像色彩信息较差，这是基于色彩图像特征就不足以描述图片特征。使用边缘方向直方图[12]是一个很好方法。
边缘方向直方图是描述图像形状一个方法。图像边缘是图像灰度改变比较显著地方。所以假如我们对图像边缘信息进行统计得到直方图就能够反应图像形状信息。
使用边缘检测作为检验图像边缘特征。常见边缘检测方法关键有Robert算子，Sobel算子，Prewitt算子和LOG算子。本文使用Sobel算子。使用梯度幅值和梯度方一直反应图像边缘纹理特征。
使用两个Sobel算子对图像I操作得到边缘图像I1，I2。下面给出其定义。
梯度幅值：
(3.4.1>
梯度方向：
(3.4.2>
其中表示图像I中i行，j列像素。是I1中对应位置像素值，是I2中对应位置像素值。
T梯度幅值表示了图像区域边缘锐度，梯度方向则表明图像区域边缘方向。依据梯度幅值和梯度方向就能够得到边缘方向直方图。
3.6 局部二值模式面我们给出一个例子：
Example
6
4
3
7
5
2
8
9
5
Threshold
1
0
0
1
*
0
1
1
1
<10010111）2LBP=1+16+32+64+128 = 241

C = (6+7+8+9+5>/5 – (4+3+2>/3 =6
Weights
1
2
4
128
*
8
64
32
16
我们使用二维分布LBP和局部对比测量C作为该领域特征。
不过为了使得到特征更有代表性。矩形领域大小是能够改变，能够使用4*4或5*5领域。相比矩形领域，圆形对称领域效果愈加好下面全部是基于圆形对称领。
假设P：圆形对称领域除了中心点像素数目。R：圆形对称领域半径。表示圆形对称领域中心点像素值，表示圆形对称领域其它点像素值。我们使用统计来描述图像特征。T表示P+1级图像像素联合分布。T：
<3.4.1）
因为值是平均值，能够从得来，再假设和图像特征无关。全部T能够改写为：
<3.4.2）
再则描述是整体特征，图像领域整体和无关，仅和相关。同时为了实现灰度级不变性，我们考虑在T中使用符号函数s。化简上式得到：
<3.4.3）
最终为了得到LBP值，我们把二进制权值赋给每一个得到LBP：
<3.4.4）
圆形 (环形>分割，能够保持空间信息，区域旋转不变性。为了实现LBP算子灰度级一致性和旋转不变性。我们新定义一个量U：
<3.4.5）
依据U值我们化简LBP：
<3.4.6）
这就是我们得到最终LBP结果，和此同时，改变P，R值我们能够取得愈加好LBP图像特征来用于图像比较。
4经典相关分析
经典相关分析又叫经典分析，是分析两组变量之间关系一个方法，对于有联合分布关系两组向量，我们要分析其中一组变量和另外一组变量之间关系。
研究者可能有两组很大变量，不过它只想得到这两组变量中相关度最高变量直接按关系这个时候使用经典相关分析例子，相关人体两组变量，一组是形态指标：身高，坐高，体重，胸围，肩宽，盆骨宽，另一组是机能指标：脉搏，收缩压，舒张压，肺活量。我们就能够使用CCA来研究者两组变量之间关系。下面给出具体分析。
对于两组变量线性组合：
<4.1）
其相关系数为
<4.2）
我们首先要考虑问题就是什么时候取得最大值。
假设X是一组数据，Y是一组阶数据。Z=假如我们令
<4.5）
我们称和是X,Y 经典向量，和是X，Y经典变量，也就是我们CCA要求结果，它是X或Y各列线性组合，是我们最终止果。就是X,Y第i个经典相关系数。
定义2：在公式(4.6>条件下
(4.6>
在条件下取得最大值。
经过以上分析我们给出CCA算法步骤：
算法：CCA求解算法。
Input：X：一组数据，Y：一组阶数据。
Output：：我们所要求经典变量。
Step 1：我们首先将X,Y标准中心化，给句公式4.3计算Z协方差矩阵S。
Step 2：计算K,,值，假设rank(>=rank(>=k，求,非零特征向量，。和非零特征值。
Step 3：依据公式<4.5）计算X，Y第对经典向量，。
Step 4：依据计算X，Y第对经典变量，和X，Y经典相关系数，从大到小排列以下，。
得出X，Y经典变量后，对于原来数据计算，我们就能够使用经典变量来替换就行了，本文中，我们原先直接使用颜色直方图，LBP值等五种特征来度量图像之间相同度。经过CCA处理后，我们能够直接使用经过CCA处理后特征来度量图像之间相同度。试验证实，使用CCA后效果比原先是不用CCA效果要提升了很多。
5试验结果
我们从coral5k图像库中选择25类图像，每类40张。供1000张图像来检索。每类随机抽取五副作为实例图像。每次验证查准率共完成25*5次查询。
<1）我们首先比较三类距离优缺点。以下图所表示：使用平均查准率和平均查全率来衡量。

图 <1）
从图中我们知道histintersection距离显著优于其它两种计算距离方法，取得了最好效果。这也为我们下面试验奠定了基础。
<2）下面我们来比较五种不一样特征平均查准率正确率。这五种描述图像全局特征分别是颜色直方图，边缘方向直方图，边缘直方图，局部二值模式像彩色信息十分显著，所以颜色直方图到得效果最好。在每类中，正确性全部高于其它四种特征描述。同时，能够看出最终一个情况，使用纹理来进行查询效果很差，远远低于其它方法。分析该图，还能够看出，除了car类这一特殊情况外，使用局部二值模式效果比颜色直方图落差一点。即使颜色直方图效果好一点。
我们能够看出五种情况平均正确率并不高，效果最好颜色直方图正确率才为66.0000%，而最差平均查准率才为11.5000%。为了处理这种不利情况，下面我们就提出处理这一问题方法。
<3）总来说，单独使用一个方法，取得试验效果并不是很好。我们把这五种特征结合起来，利用不一样方法各自优点就能够取得好一点效果，假如使用CCA对得到数据进行处理，得到效果就好多了。这也是本文关键，关键所在。
我们在horse类上验证颜色直方图，边缘方向直方图，边缘直方图，局部二值模式ion距离效果比很好，基于此距离计算公式我们进行分析。在1：颜色直方图:2：边缘方向直方图，3：边缘直方图:4：局部二值模式示16张图片中只查询出了10张相关图片，不过假如我们使用CCA后，图<5）我们查询出了14张相关图片，正确率有了很大提升。

图 <4） 图 <5）

图<6），我们在car，plane，horse，bear，sun五类图像中验证比较了使用五种方法综合效果，蓝色表示没有使用CCA查准率，深红色表示使用CCA查准率。分析知道，对于car类查询效果比很好，全部达成了100%，其它类，使用CCA查准率比不使用CCA效果要好多。plane，horse，bear，sun四类图像差准了全部提升了10%以上，使用CCA后horse，bear，sun查准率靠近了80%,plane类正确性由35%提升到了61.25%

图 <6）
试验表明，使用经过CCA处理后图像语义特征来查询，比不使用CCA含有显著改善和提升。
6小结
本文关键介绍了基于语义图像语义特征检索分析。提取了图像颜色直方图，边缘方向直方图，边缘直方图，局部二值模式 al. A survey of content-based image retrieval with high-level semantics[J].Pattern Recognition.,40(1>:262-282
[2] Junath B, Rainer J, Vinod V, et al. Color and Texture Descriptors. IEEE Transaction on circuits and systems for video technology,.11(6>:2022-2045
[3] Xu Xianchuan, Zhang Qi. Medical Image Retrieval Using Local Binary Patterns with Image Euclidean Distance. Information Engineering and Computer Science,.11.pp1-4
[4] Shu Liao, Albert C.S.Chung. Texture Classification by Using Advanced Local Binary Patterns and Spatial Distribution of Dominant Patterns. Acoustics Speech and Signal Processing..10. pp:I-1221-1224
[5] Eanes Torres Pereira, Herman Martins Gomes. Integral Local Binary Patterns: a Novel Approach Suitable for Texture-Based ObjectDetection Tasks.Conference on Graphics, Patterns and Images. .10. pp:201-208
[6] Hai Xianwang, Member. Local Two-Dimensional CanonicalCorrelation Analysis. IEEE SIGNAL PROCESSING LETTER..12. pp:924-924
[7] ISO/IEC JTC1/SC29/WG11/N5062:”MPEG-7 requirements document”[S].Singapore,
[8] Jeong S，won c S．Gray R M．Image Retrieval Using Color Histograms Generated by Gauss Mixture Vector Quantization．Computer Vision and Image Understanding，94(1／2／3>：44—66
[9] 张润楚。多元统计分析[M].北京:科学出版社.
[10] T.W.Anderson 著，张润楚，译.多元统计分析导论。北京，人民邮电出版社。
[11]Canny J . A computational approach t o edge detection [ J ].IEEE Transactions on Pattern Analysis andMachine Intelligence, 1986, 8 (6> : 6792-698 .
[12]Fang Yuchun , Tan Tieniu , Wang Yunhong. Fusion of Globaland Local Features for Face Verification[ C] ∥IEEE International Conference on Pat tern Recognition ( ICPR> . [ s. l . ] : [ s.n. ] ,.
[13] Mark S.Nixon. Albert s..Aguado. Feature Extraction and Image Processing.北京，电子工业出版社。