基于SVM的图像分类系统标准设计文档成勇.doc

LANZHOU UNIVERSITY OF TECHNOLOGY毕业设计题 目 基于SVM图象分类系统 学生姓名 成 勇 学 号 10240330 专业班级 计算机科学和技术3班 指导老师 李晓旭 学 院 计算机和通信学院 答辩日期 摘 要支持向量机(SVM)方法是建立在统计学习理论基础之上，克服了神经网络分类和传统统计分类方法很多缺点，含有较高泛化性能。不过，因为支持向量机尚处于发展阶段，很多方面尚不完善，现有结果多局限于理论分析，而应用显得较微弱，所以研究和完善利用支持向量机进行图像分类对深入推进支持向量机在图像分析领域应用含有主动推进作用。本文经过支持向量机技术和图像特征提取技术实现了一个图像分类试验系统。文中首先引入了支持向量机概念，对支持向量机做了较全方面介绍；然后，讨论了图像特征描述和提取方法，对图像颜色矩特征做了具体描述，对svm分类也做了具体说明；最终讨论了由分类结果所表现部分问题。测试结果表明，利用图像颜色矩特征分类方法是可行，而且推断出采取综合特征方法比采取单一特征方法进行分类得到结果要更令人满意。关键词：支持向量机 图像分类 特征提取 颜色矩AbstractThe support vector machine (SVM) method is based on statistical learning theory foundation, overcome the neural network classification and traditional statistical classification method of faults, and has high generalization performance. But, because the support vector machine (SVM) is still in the development stage, many still not perfect, the existing results more limited to the theoretical analysis, and the use of appear more weak and therefore study and improve the use of support vector machines to image classification support vector machine to further advance in the application of image analysis play a positive role in promoting.In this paper, support vector machine (SVM) technology and image feature extraction technology implements a image classification experiment system. This paper first introduces the concept of support vector machine (SVM), the support vector machine (SVM) made a more comprehensive introduction; Then, discussed the image characteristics of description and extraction method, the image color moment features described in detail, also made detailed instructions for the SVM classification; Finally discussed the classification results of some problems. Test results show that using the torque characteristics of the image color classification method is feasible, and deduce the comprehensive characteristic method than using single feature method to classify the results are more satisfactory.Keywords: support vector machine image classification feature extraction Color Moment目 录摘 要IAbstractII第一章 序言11.1本课题研究意义11.2本论文目标、内容11.3开发技术介绍11.3.1 SVM技术及其发展简史11.3.2 java技术介绍2第二章 系统分析32.1 系统需求分析32.2 系统业务步骤分析3第三章 系统总体设计43.1 分类系统结构43.2 图像数据库43.3 特征提取模块43.4 svm分类模块4第四章 系统具体设计64.1 特征提取模块64.1.1 颜色矩64.2 SVM分类模块74.2.1 svm算法介绍74.2.2 svm核函数选择84.2.3 svm核函数84.2.4 svmtrain使用方法94.2.5 svmpredict使用方法10第五章 系统测试115.1 图像数据115.2 提取颜色矩特征115.3 svm分类125.4 测试结果分析13第六章 软件使用说明书14设计总结16参考文件17外文翻译18原文18Abstract181 Introduction182 Support vector machines193 Co-SVM203.1 Two-view scheme203.2 Multi-view scheme203.3 About SVM214 Related works23译文24摘 要241 前 言242 支持向量机243 合作支持向量机253.1 双试图计划253.2 多视图计划263.3 SVM 介绍264 相关作品27致 谢29第一章 序言1.1本课题研究意义伴随信息社会到来，大家越来越多接触到大量图像信息。天天全部有大量图像信息在不停产生(如卫星、地质、医疗、安全等领域)，这些图像信息有效组织和快速正确分类便成了大家亟待处理课题。图像分类就是利用计算机对图像进行定量分析，把图像中每个像元或区域划归为若干类别中一个，以替换人视觉判读，图像分类过程就是模式识别过程，是目视判读延续和发展。是工业和学术界热点问题。本文提出了一个利用支持向量机(SupportVector Machine，简称SVM)图像分类方法。该系统可用于各类图像分类，给定某类图像训练数据，能够学习分类规则。对于给定新图像，即能输出图像类别。1.2本论文目标、内容 首先应该指出是，在一些方面，SVM同神经网络研究方法是能够相互借鉴。正如在对神经网络研究一样，大家在SVM研究方面不能抱有矛盾幻想，首先想使其功效强大无比，任何情况下全部含有极高泛化能力；其次，又要求SVM含有良好性能，比如全局收敛且收敛速度快。这显然是不现实，它应该是大家不停为之奋斗目标。所以在SVM研究方面必需有所侧重，本文在SVM研究中偏向于它性能和应用性，即要求确保全局最优基础上，尽可能提升收敛速度，使其在图像分析中发挥很好作用：而对SVM容量控制等理论问题，本文暂不过多包含。本文对以下问题做了研究：1。分析SVM模型中核函数特征，探讨核函数和SVM分类器性能关系，为下面研究做铺垫。2利用上述分析，研究了图像特征对SVM分类器影响，关键利用了颜色特征和纹理特征，分别对颜色图像分类、纹理图像分类和综合特征图像分类进行了比较，并在Pc机上进行大量试验，对试验数据进行对比和分析。1.3开发技术介绍1.3.1 SVM技术及其发展简史SVM是支持向量机(SupportVector Machine)简称，是在统计学习理论基础上发展起来一个机器学习方法。早在六十年代，SVM奠基人V.Vapink就开始了统计学习理论研究。1971年，V.Vapink和Chervonenkis在“The Necessary and Sufficient Conditions for the Unifoms Convergence of Averages to Expected values，一文中，提出了SVM一个关键理论基础-VC维理论。1982年，在“Estimation of Dependences Based on Empirical Data”一书中， V.Vapnik深入提出了含有划时代意义结构风险最小化原理，为SVM奠定了直接、坚实理论基础。1992年,B.Boser,T.Guyon和V.Vapnik，在“A Training Algorithm for Optimal Margin C1assifiers”一书中，提出了最优边界分类器，由此形成了SVM雏形。SVM提出被认为是机器学习一个关键革新。1993年，Cortes和Vapnik，在“The Soft Margin classifier”一文中，深入探讨了非线性最优边界分类问题。1995年，Vapnik在“The Nature of statistical Learning Theory”一书中，完整地提出了SVM分类。1997年，V.Vapnik，SGokowich和ASmola，发表“Support Vector Method for Function Approximation，Regression Estimation,and signal Processing”，一文中，具体介绍了基于SVM方法回归算法和信号处理方法。1998年，Smola在她博士论文中具体研究了SVM中多种核机理和应用，为深入完善SVM非线性算法做出了关键贡献。l999年，BSchokopf和SMika等人在“Input SpaceVersus Feature Space in Kemel-Based Methods”一文中提出了将核变换和核技巧用于空间变换。同年， Bscholkopf，C.J.C.Burges和AJSmola在“Advances in Kemel Methodssupport Vector Learning”一文中具体叙述了核方法。上述及同期其它学者工作，将隐含在SVM中核方法引申出来，而且得以发展和完善。核方法提出、完善和深入地应用，是SVM对学习算法关键贡献，是SVM发展一个关键里程碑。1.3.2 java技术介绍Java是一个能够撰写跨平台应用软件面向对象程序设计语言，是由Sun Microsystems企业于1995年5月推出Java程序设计语言和Java平台（即JavaEE, JavaME, JavaSE）总称。Java自面世后就很流行，发展快速，对C+语言形成了有力冲击。Java 技术含有卓越通用性、高效性、平台移植性和安全性，广泛应用于个人PC、数据中心、游戏控制台、科学超级计算机、移动电话和互联网，同时拥有全球最大开发者专业社群。在全球云计算和移动互联网产业环境下，Java更含有了显著优势和宽广前景。Java是由Sun Microsystems企业于 1995年5月推出Java面向对象程序设计语言（以下简称Java语言）和Java平台总称。由James Gosling和同事们共同研发，并在1995年正式推出。Java最初被称为Oak，是1991年为消费类电子产品嵌入式芯片而设计。1995年更名为Java，并重新设计用于开发Internet应用程序。用Java实现HotJava浏览器（支持Java applet）显示了Java魅力：跨平台、动态Web、Internet计算。以后，Java被广泛接收并推进了Web快速发展，常见浏览器均支持Javaapplet。其次，Java技术也不停更新。(Oracle企业收购了SUN)第二章 系统分析2.1 系统需求分析伴随信息社会到来，大家越来越多接触到大量图像信息。天天全部有大量图像信息在不停产生(如卫星、地质、医疗、安全等领域)，这些图像信息有效组织和快速正确分类便成了大家亟待处理课题。图像分类就是利用计算机对图像进行定量分析，把图像中每个像元或区域划归为若干类别中一个，以替换人视觉判读，图像分类过程就是模式识别过程，是目视判读延续和发展。是工业和学术界热点问题。SVM, Support Vector Machine , 即支持向量机，是一个机器学习算法， 不过现今最常拿来就是做分类 (classification) 。 也就是说，假如我有一堆已经分好类东西 （可是分类依据是未知！） ，那当收到新东西时， SVM 能够估计 (predict) 新数据要分到哪一堆去。 2.2 系统业务步骤分析应用svm分类步骤以下：（1） 首先搜集各个类训练集和测试集（2） 从训练集和测试集中提取图片特征（3） 将训练集提取数据用于svm学习训练，得到训练模板（4） 经过模板对测试集提取特征数据用于分类，得到分类结果系统业务步骤图以下图2.2所表示：搜集训练图片特征提取搜集测试图片学习分类器分类分类结果 图2.2 系统业务步骤图第三章 系统总体设计3.1 分类系统结构基于支持向量机图像分类试验系统框架示意图以下图3.1所表示：图像图像特征提取模块SVM分类模块图3.1系统结构图3.2 图像数据库图像数据库指搜集不一样种类图片作为特征提取图片数据集。此次我所取图片以颜色特征为主以下表格3.2所表示： 表格3.2 图片类别红色黑色蓝色绿色黄色3.3 特征提取模块该模块关键负责对图像数据库中图像进行特征提取，并对其进行特征归一化处理，把所提取特征数据以下格式写到特征输出文件中，以作为下一个模块输入数据。label index1:value1 index2:value2 . label index1:value1 index2:value2 .3.4 svm分类模块该模块以特征提取模块输出文件作为输入，能够对支持向量机各个参数进行选择，包含核函数及其参数，然后用一定量样本对该学习机进行学习和训练，用测试样原来测试，得到最终分类效果。使用 SVM 步骤大约就是：1. 准备数据并做成指定 格式 ( 有必需时需 svmscale) 。2. 用 svmtrain 来 train 成 model 。 3. 对新输入，使用 svmpredict 来 predict 新数据，得到分类结果。第四章 系统具体设计4.1 特征提取模块该模块关键负责对图像数据库中图像进行特征提取，并对其进行特征归一化处理，然后把图像特征值输出到对应文件中，以作为下一个模块输入。4.1.1 颜色矩颜色是彩色图像最关键内容之一，被广泛用于图像检索中。但从图像中提取颜色特征时，很多算法全部先要对图像进行量化处理。量化处理轻易造成误检，而且产生图像特征维数较高，不利于检索。stricker和0reng0提出了颜色矩方法1，颜色矩是一个简单有效颜色特征表示方法，有一阶矩(均值,mean)、二阶矩(方差,viarance)和三阶矩(斜度,skewness)等，因为颜色信息关键分布于低阶矩中，所以用一阶矩，二阶矩和三阶矩足以表示图像颜色分布，颜色矩已证实可有效地表示图像中颜色分布，该方法优点在于：不需要颜色空间量化，特征向量维数低；但试验发觉该方法检索效率比较低，所以在实际应用中往往用来过滤图像以缩小检索范围。设p(i,j)图像像素值，N为像素数，则： Mean=(sum(p(I,j)/N Variance=sqrt(sum(p(I,j )-mean)2/N) Skewness= Variance= (sum(p(I,j )-mean）3/N)1/3 三个颜色矩数学定义：其中，Pi,j表示图像第i个颜色通道分两种灰度为j像素出现概率，N表示图像中像素个数。和颜色直方图相比，该方法另一个好处于于无需对特征进行向量化。所以，图像颜色矩一共只需要9个分量（3个颜色分量，每个分量上3个低阶矩），和其它颜色特征相比是很简练。在实际应用中为避免低次矩较弱分辨能力，颜色矩常和其它特征结合使用，而且通常在使用其它特征前起到过滤缩小范围（narrow down）作用。4.2 SVM分类模块该模块以特征提取模块输出文件作为输入，能够对支持向量机各个参数进行选择，包含核函数及其参数，然后用一定量样本对该学习机进行学习和训练，用测试样原来测试，得到最终分类效果。4.2.1 svm算法介绍多年来，伴随统计学习理论和支持向量机越来越受到广泛关注，陆续提出了很多相关SVM训练算法，其算法也日益完善。下面就简单介绍一下SVM算法。SVM训练算法关键有三类：二次计划算法，分解算法和增量算法。另外，针对特定问题，很多研究者在这三类算法基础上提出了很多改善算法，这些算法在特定问题处理中表现出了很好效果。第一类是二次计划算法。在前面分析中数次提到，SVM能够归结为一个二次计划(QP)问题，QP是一个常见优化问题，有一套比较成熟理论基础。从数学角度分析，SVM是一个求条件极值问题，其通常解法有罚函数法和单纯形法。罚函数法基础思想是将解不满足约束条件程度作为处罚项加在目标函数中，将条件极值问题转化为无条件极值问题来处理，求得其解后增大处罚力度，将上一步结果作为下一次寻优起始迭代点，再求解无条件极值问题，直到满足约束为止。单纯形法是先随机找到一个可行点作为初值点，结构以可行点为顶点单纯形，然后按某种搜索策略逐步缩小单纯形，直至各项点间距离在许可误差范围内为止。第二类是分解算法。当训练样本增加时，二次计划算法存在训练速度慢，效率低下，算法复杂而难以实现等问题。为此，部分学者提出了处理大规模训练集算法。Cones和Vapnik提出Chunking算法，该算法每次求解一个子QP问题，得到若干支持向量。用这些支持向量和部分不满足优化条件样本，组成新子QP问题，而初始子问题由任意若干个样本组成。反复上述过程，知道全部样本满足优化条件。该方法存在问题是，当支持向量较多时，算法训练速度显著变慢。因为该方法实际求解QP问题中赫赛(Hessiall)矩阵规模下降为最多。P1att提出了SMO(Sequential Minimal和mization序贯最小优化)算法。该算法将工作样本集规模减到最小一一两个样本情况，其优点是针对两个样本二次计划问题能够有解析解形式，从而避免了多样本情况下数值解不稳定及耗时问题，同时也不需要大矩阵存放空间，尤其适合稀疏样本，算法避开了复杂数值求解优化问题过程。另外，SVM算法工作集选择也别具特色，不是传统最陡下降法，而是采取启发式策略，经过两个嵌套循环来寻求待优化样本变量。在外循环中寻求违反KKT(KarushKuhnTuckcr)最优条件样本，然后在内循环中再选择另一个样本，完成一次优化。再循环，进行下一次优化，直到全部样本全部满足最优条件，这大大加紧了算法收敛速度。sM0算法关键耗时在最优条件判定上，所以应寻求最合理即计算代价最低最优条件判别式。第三类是增量算法。训练方法是在训练样本单个输入情况下训练，其训练样本总个数是未知。最经典应用是系统在线辨识。AhmedsN最早提出了SVM增量训练算法，但只是近似增量，即每次只选一小批常规二次计划算法能处理训练样本，然后只保留支持向量，抛弃非支持向量，和新进来样本混和进行训练，知道训练样本用完为止，试验表明误差能够接收。Cauwenberghs G等人提出了增量训练正确解，即增加一个训练样本或降低一个样本对Lagrange系数和支持向量影响，试验表明算法是有效，尤其是降低一个样本时，对模型选择算法LOO(Leave one out)形象解释，缺点是当样本无限增多时，还是必需抛弃部分样本，使其能够实用。另外，在以上三类基础算法基础上，很多学者还提出了其它算法，如；张学工提出CSVM算法，将每类训练样本集进行聚类分成若干个子集，用子集中心组成新训练样本集训练SVM等。这些算法为SVM广泛应用起到了推进作用。4.2.2 svm核函数选择支持向量机模型最关键一个参数就是核函数。选择什么样核函数，就意味着将训练样本映射到什么样空间去进行线性划分，核函数选择关系到能否得到正确识别结果，而怎样从理论上确保选择最优核函数仍是一个有待处理问题，现在多是经过试验来决定。4.2.3 svm核函数核函数是SVM模型建立一个关键问题，因为核函数在支持向量机中占有比较关键地位，所以本节将其单独列出来，对现有研究结果进行整理和分析，为以后试验打下坚实理论基础。Vapnik在SVM理论中提到，当问题不是线性可分时，利用核函数将样本集映射到某一高维空间，使得样本集在高维空间像集是线性可分。定理：对任给样本集K，均存在一映射墨K1,K2两类，则肯定存在一映射F：SnM，F(K)在M中是线性可分。该定理说明：对任给样本集K，均存在一映射F，在此映射下，F(K)(在高维空间中)是线性可分。上述即为核函数存在性定理，该定理为在任意样本集上应用核方法(包含SVM)提供了理论确保。4.2.4 svmtrain使用方法svmtrain实现对训练数据集训练，取得SVM模型。Train ( 训练 ) data. train 会接收特定格式输入 , 产生一个 Model 文件 。 这个 model 你能够想象成 SVM 内部数据 , 因为 predict 要 model 才能 predict, 不能直接吃原始数据 。使用方法： svmtrain options training_set_file model_file；其中，options（操作参数）：可用选项即表示涵义以下所表示：-s svm类型：设置SVM 类型，默认值为0，可选类型有：0 - C- SVC1 - n - SVC2 - one-class-SVM3 - e - SVR4 - n - SVR-t 核函数类型：设置核函数类型，默认值为2，可选类型有：0 - 线性核：u*v1 - 多项式核： (g*u*v+ coef 0)deg ree2 - RBF 核：e( u v 2) g -3 - sigmoid 核：tanh(g*u*v+ coef 0)-d degree：核函数中degree设置，默认值为3； -g g ：设置核函数中g ，默认值为1/ k ；-r coef 0：设置核函数中coef 0，默认值为0；-c cost：设置C- SVC、e - SVR、n - SVR中从处罚系数C，默认值为1；-n n ：设置n - SVC、one-class-SVM 和n - SVR 中参数n ，默认值0.5；-p e ：设置n - SVR损失函数中e ，默认值为0.1；-m cachesize：设置cache内存大小，以MB为单位，默认值为40；-e e ：设置终止准则中可容忍偏差，默认值为0.001；-h shrinking：是否使用启发式，可选值为0 或1，默认值为1；-b 概率估量：是否计算SVC或SVR概率估量，可选值0 或1，默认0；-wi weight：对各类样本处罚系数C加权，默认值为1；-v n：n折交叉验证模式。其中-g选项中k是指输入数据中属性数。操作参数 -v 随机地将数据剖分为n 部分并计算交叉检验正确度和均方根误差。以上这些参数设置能够根据SVM 类型和核函数所支持参数进行任意组合，假如设置参数在函数或SVM 类型中没有也不会产生影响，程序不会接收该参数；假如应有参数设置不正确，参数将采取默认值。training_set_file是要进行训练数据集；model_file是训练结束后产生模型文件，该参数假如不设置将采取默认文件名，也能够设置成自己常见文件名。4.2.5 svmpredict使用方法svmpredict 是依据训练取得模型，对数据集合进行估计，依据已经 train 好 model, 再加上给定输入 ( 新值 ), 输出 predict ( 估计 ) 新值所对应类别。使用方法：svmpredict options test_file model_file output_file；options（操作参数）：-b probability_estimates：是否需要进行概率估量估计，可选值为0 或1，默认值为0。model_file 是由svmtrain 产生模型文件；test_file 是要进行估计数据文件；output_file 是svmpredict 输出文件，表示估计结果值。svmpredict 没有其它选项。第五章 系统测试5.1 图像数据此次测试所用图片以颜色特征为主以下表格5.1所表示：表格5.1 图片类别及数量红色黑色蓝色绿色黄色总计训练数量/张100100100100100500测试数量/张80808080804005.2 提取颜色矩特征读取图片、提取图片特征，得到训练数据文件和测试数据文件，以下图5.2.1、图5.2.2所表示： 图5.2.1 训练数据 图5.2.2 测试数据5.3 svm分类1、读取训练数据文件，训练svm得到model文件，以下图5.3.1所表示： 图5.3.1 model文件2、读取测试数据文件，进行分类输出分类结果，以下图5.3.2所表示： 图5.3.2 分类结果文件5.4 测试结果分析测试结果以下图5.4所表示：从试验结果来看，利用图像颜色矩特征分类方法是可行，这说明大家获取图像信息是多方位。由此能够推断出提升分类正确率方法有： （1）采取多折交叉验证（2）综合多个特征来分类第六章 软件使用说明书SVM, Support Vector Machine , 即支持向量机，是一个机器学习算法， 不过现今最常拿来就是做分类 (classification) 。 也就是说，假如我有一堆已经分好类东西 （可是分类依据是未知！） ，那当收到新东西时， SVM 能够估计 (predict) 新数据要分到哪一堆去。 这里我们简单讲述基于svm图像分类系统使用方法：（1） 按类搜集图片一部分作为训练，另一部分作为测试；以下图6.1所表示： 图6.1 图像数据（2） 提取图片特征，并把特征数据指定为svm能读入数据格式；以下图6.2所表示： 图6.2 特征数据（3）用训练数据训练svm分类器，得到model文件，以下图6.3所表示： 图6.3 model文件（3） 读入测试数据进行分类，得到分类结果文件以下图6.4所表示： 图6.4 结果文件 设计总结在大学学习过程中，毕业设计是一个关键步骤，是我们步入社会参与实际项目标计划建设一次极好演示.毕业设计是四年学习总结和提升，和做科研开发工作一样，要有严谨求实科学态度。毕业设计有一定学术价值和实用价值，能反应出作者所含有专业基础知识和分析处理问题能力。此次毕业设计是我们从大学毕业生走向未来工作关键一步。从最初选题，开题到分析调查、代码编写直到完成设计。其间，查找资料，老师指导，和同学交流，反复修改代码，每一个过程全部是对自己能力一次检验和充实。在毕业设计期间，尽可能多阅读文件资料是很关键，首先是为毕业设计做技术准备，其次是学习做毕业设计方法。一次优异设计对启发我们思维，掌握设计规范、步骤、具体操作全部很有帮助。这次毕业设计我做基于svm图像分类系统。即使对图像处理没有深入学习过，不过经过指导老师给我资料，再加自己找相关资料和网络上资料对本课题有了一定了解。然后用了一个星期对总资料进行整理和删选，选择对自己设计有用资料汇编成册作为后期设计辅助资料参考和借鉴。接下来多个星期指导老师给了我们具体设计任务，并指导我们具体设计步骤。经过对原有代码分析使自己很快有了自己设计思绪，完善了代码，然后和老师交流进行改善自己设计方案和设计不足。经过几轮修改和老师交流使自己慢慢完善自己设计方案。整个毕业设计期间，指导老师认真严格要求我们，我们因为是独立完成一个设计，需要老师指导，我们认真听取老师意见，同时也发表自己对方案见解，每一个星期我和指导老师全部会见一次面，这么我们能够很好交换意见，愈加好完善方案。我们严格根据学校相关要求实施，对毕业设计内容及工作量进行讨论并确定，我们还可随时找老师进行答疑，老师为方便我们联络，把电话号码和Email地址留给了我们，给我们专门建立了一个QQ群，假如有什么事就能够立即得四处理，这么问题不致堆积、也不会所以拖了进度。在毕业设计期间，假如没有老师细心指导，而是自己一个人独自做设计，也不和任何人交流，这是完全不行，设计其实也是一个团体工作，假如不能和她人进行良好沟通和交流，做出设计也只是只有自己一个人会欣赏，而她人却不一定会认可你设计，所以在这次毕业设计过程中，我知道了一个道理，团结得力量，只有愈加好得和她人，进行沟通和交流，吸收她人提议，工作才会愈加顺利。参考文件1 2 3 外文翻译原文Rapid and brief communicationActive learning for image retrieval with Co-SVMAbstractIn relevance feedback algorithms, selective sampling is often used to reduce the cost of labeling and explore the unlabeled data. In this paper, we proposed an active learning algorithm, Co-SVM, to improve the performance of selective sampling in image retrieval. In Co-SVM algorithm, color and texture are naturally considered as sufficient and uncorrelated views of an image. SVM classifiers are learned in color and texture feature subspaces, respectively. Then the two classifiers are used to classify the unlabeled data. These unlabeled samples which are differently classified by the two classifiers are chose to label. The experimental results show that the proposed algorithm is beneficial to image retrieval.1 IntroductionRelevance feedback is an important approach to improve the performance of image retrieval systems 1. For largescale image database retrieval problem, labeled images are always rare compared with unlabeled images. It has become a hot topic how to utilize the large amounts of unlabeled images to augment the performance of the learning algorithms when only a small set of labeled images is available. Tong and Chang proposed an active learning paradigm, named SVMAct ive 2. They think that the samples lying beside the boundary are the most informative. Therefore, in each round of relevance feedback, the images that are closest to the support vector boundary are returned to users for labeling. Usually, the feature representation of an image is a combination of diverse features, such as color, texture, shape, etc. For a specified example, the contribution of different features is significantl