基于凸锥模型的图像集分类方法的改进.pdf

第 卷 第 期 年 月绵阳师范学院学报(自然科学版)().收稿日期:作者简介:赵蓉城()男四川南江人讲师硕士研究方向:计算机软件技术 基于凸锥模型的图像集分类方法的改进赵蓉城(四川商务职业学院四川成都)摘 要:提出了基于凸锥的图像集分类框架 为了增强框架引入了两个判别空间 首先提出一个判别空间使锥之间的差异最大化和类内方差最小化 然后将其扩展到一个加权判别空间通过引入权重来处理复杂的数据分布 此外为了减少所提方法的计算成本开发了一种新的快速实现策略 通过实验验证了所提方法的有效性 关键词:图像识别 凸锥 判别空间中图分类号:文献标志码:文章编号:():././.():.:引言为了将凸锥模型引入到图像集分类的框架中需要考虑如何计算两个凸锥之间的结构相似性 为此定义两个凸锥之间的多个角以准确地捕捉它们之间的几何关系如两个子空间之间的标准角 在此基础上本文提出了将交替最小二乘法()应用于凸锥由最小到最大依次求角的新方法 根据得到的角度定义了两个凸锥之间的几何相似度 这种相似性的分类方法为互凸锥方法()此外为了提高 的性能还引入了凸锥在判别空间 上的投影使类内方差最小化并扩大了类间方差 凸锥间的类间方差精确地捕捉了锥之间的差异信息 由于这些信息是分类所必需的因此将 投影到 上可以增强 的分类能力 最后利用投影输入 和类凸锥 之间的锥相似性对输入图像集进行分类图 本文所提方法的基本思想概念图.如图 所示 简言之本文采用凸锥模型提取图像分类信息的方法为:首先从图像集中提取特征向量用凸锥表示特征然后重新定义类间方差提取多个凸锥之间更复杂的差异最后通过凸锥的投影输入和类凸锥之间的锥相似性对图像集进行分类 根据 实 际 情 况 对 提 出 的 和 进一步扩展 和 通常假设一个类的图像集可以用一个凸锥很好地表示 但是在实际的应用中它不一定是合理的为了解决这个问题本文用多个凸锥而不是单个凸锥来表示一组图像 此外对于上述表示本文重新设计了如何生成 的判别空间:重新定义类间方差(间隙)来提取多个凸锥之间更复杂的间隙计算每一对不同类别的凸锥的间隙然后由这些间隙生成一个判别空间 在此过程中还引入了差异权重进一步增强识别能力 其基本策略是:当差异很小时差异上的权重就会变大 基于这个策略目的是使两视锥间的小差异投影到判别空间后可以产生变大的效果 然而由于具有较高的判别能力计算代价较高 为了减轻这种高计算成本本文引入了一种新的快速实现策略 本文将所提出的这种 称为快速 互凸锥法.多角度和两凸锥间几何相似性为了定义两个凸锥之间的几何相似性本文考虑了如何定义两个凸锥之间的多个角 设两个凸锥 分别由基向量 和 构成 同时假设 由于需要考虑非负约束两个凸锥之间的角不能像正则角那样通过解析得到 相反本文找到了两个向量 和 它们构成了凸锥之间最小的角 用这种方法依次定义了从最小到最大的多个角 首先通过求解下面的优化问题寻找相关性最大的一对 维向量 和 :.()用交替最小二乘法()可以解决这一问题 因此可以得到第一个角 为 和 形成的角:搜索 和 的算法绵阳师范学院学报(自然科学版):两个凸锥 和 的基向量 设()为向量 在凸锥 上的投影算子)随机初始化 )()/()(/()()/)如果 足够小操作完成 ()否则设置 后返回步骤)图 向量对 搜索过程的概念图.对于第二个角 找到了一对相关最大但与 和 相关最小的向量 和 将 应用于由向量 和 张成的子空间 的正交补空间 上的凸锥 和 的投影上如图 所示 然后 由 和 形成 这样可以得到构成第 个角.的所有向量对 根据得到的角 定义两个凸锥 和 之间的几何相似 为().().互凸锥法的算法互凸锥方法()利用式()定义的输入和参考凸锥之间的相似性对输入凸锥进行分类 包括两个阶段训练阶段和识别阶段 给定具有 个图像的 类集 训练阶段:).从类 图像 中提取特征向量).将 应用于特征向量集 得到类 凸锥的基向量).记录为类 的类凸锥).上述过程适用于所有 类 识别阶段:).输入一组图像).从图像 中提取特征向量).将 应用于特征向量输入集 生成输入凸锥的基向量).根据输入凸锥 与类 凸锥 之间的相似度(式()对输入图像集 进行分类 约束互凸锥法.基本概念由于凸锥获取了每个图像集的基本信息因此凸锥之间的间隙精确地捕捉了对应对象之间的差异分量如形状差异 通过提取缝隙信息可以提高 的性能.判别空间的生成为了提高 的性能本文引入了一个判别空间 对于投影在 上的凸锥该空间扩大了差异(类间方差)并使类内方差 最小化类似于 判别分析()该方法利用凸锥的基向量计算类内方差 利用凸锥之间的差异计算类间方差 有效利用凸锥形成的信息 赵蓉城 基于凸锥模型的图像集分类方法的改进 设 为带有 基向量的第 类凸锥 为向量在 上的投影运算 为该类的个数 考虑 个向量.使得相关量()/()的和是最大的 这些向量可以通过广义典型相关分析的概念来获得 具体过程如算法()所示除了使用非负最小二乘方法代替了标准 方法外该算法与原算法基本相同:搜索第一个向量集合 :凸锥的基向量 设()为向量 在凸锥 上的投影算子)随机初始化)将 投影到每个凸锥上然后将投影归一化为()/()/)如果 足够小操作完成()否则设置 后返回步骤 在与前面发现的 的相关性最小的约束下搜索一组关联和最大的第二向量 将上述步骤应用于凸锥投影到向量 的正交补空间上可以得到第二个向量 同样地将凸锥投影到 的正交补空间上可以计算出第 个向量的集合 这样最终得到了 的集合 对于集合 定义差向量 为 .()类间方差 由凸锥之间的间隙计算以有效利用凸锥形成的信息 考虑到每个差向量表示两个凸锥之间的差异用这些向量定义:()()其中 为类凸锥基向量的最小个数即()式()表示这些凸锥之间的差异总和 然后利用所有凸锥类的基向量 定义类内方差:()()()其中 /最后由下列特征值问题的第 个最大特征值对应的个特征向量张成的 维判别空间:.().约束互凸锥法的算法通过将判别空间 上的投影纳入 来构造约束()包括训练阶段和识别阶段 在 类有 幅图像 利用判别空间 的情况下的每个阶段解释如下 训练阶段:)从图像 中提取特征向量 )将 应用于每一类特征向量集得到第 类凸锥的基向量 )差分向量 的计算)用 和 求解式()得到判别空间)将基向量 投影到 上)将一组投影基向量 构成的凸锥记为 类凸锥 识别阶段:).输入一组图像).从图像 中提取特征向量).将 应用于特征向量集生成凸锥的基向量).将基向量 投影到判别空间 上然后将投绵阳师范学院学报(自然科学版)影基向量的长度归一化为 归一化投影用 表示).根据输入凸锥 与各类凸锥 之间的相似度(式()对输入集 进行分类 约束互凸锥法的推广.基本概念在实际应用中类的分布往往是复杂的例如一个类的图像集包含多个不同情况下采集的视频 在这些情况下用多个锥来表示每个类才是合理的 在使用多个参考锥的方法中输入锥 的分类是由最近邻分类器进行的其过程与使用单个凸锥的原始 非常相似只是这个增强 使用了新设计的判别空间 接下来将重新设计生成一个增强判别空间的方法以响应类的多个凸锥表示 然后引入间隙权值将局部结构融入到增强判别空间的生成中.具有增强判别空间的 考虑第 类的 个训练图像集 其中每个图像集 有 个图像 设 为一个矩阵其第 列向量为像素强度等特征向量从图像 中提取 特征 为每个特征集 生成的每个参考凸锥 的基向量 首先利用不同类的每一对凸锥 和 之间的多个差异(差向量)重新构造类间方差 如下式:()()其中 是参考凸锥基向量的最小数量()是两个凸锥 和 的向量对 之间的差向量这通过应用.节中描述的方法可得 为类的数量 式()表示这些凸锥之间多个差异的总和 类内方差 重新表述如下:()()()其中 为第 类的第 个参考凸锥 的基向量 的均值向量由/计算得到 式()表示所有凸锥类的基向量相对于均值向量的类内方差 增强判别空间 是由 个特征向量张成的子空间对应于下列特征值问题的第 个最大特征值:.()与基于单一锥表示生成的原判别空间相比锥投影到 上能更准确、精细地最大化类间方差 而最小化类内方差 .带权值的增强判别空间到目前为止所有的差异(差向量)对生成增强判别空间 的贡献都是相同的 然而凸锥之间最小的差异比最大的差异对判别更重要 事实上一些研究报告了这一想法的有效性 基于这些研究希望通过增加不同的权重可以保证在投射到识别空间后两个视锥之赵蓉城 基于凸锥模型的图像集分类方法的改进 间最小的差异有选择地扩大从而获得更好的识别能力 即通过引入权值为的类间方差加权来增强判别空间如下式:()()式()表示在考虑不同权重后这些凸锥之间多个差异的总和 其中权重的定义为:()/.()上式表明当凸锥之间的差异变小时的值就会增大 带有权值的增强判别空间能更有效地最大化类间方差同时最小化类内方差 可以得到增强判别空间它是由 个特征向量张成的子空间对应于下列特征值问题的第 个最大特征值:.()在下文中将这种进一步增强的判别空间称为加权判别空间 为了看到加权判别空间的高分辨能力使用多维尺度()将凸锥在 和 上的投影形象化为 映射 对于类 合成了 个锥 对于类 合成了 个锥 每个凸锥 由三个 维基向量 张成 为定量验证 相对于 的优势计算了原 维向量空间中投影锥的类可分性 类可分性定义为()/()为了公平比较本指标用于 和 和 上投影的类可分性分别为.和.这种巨大的差异清楚地证明了在增强判别空间中引入权值的有效性.的快速实现 的计算成本比基于子空间的方法(互子空间法 和约束子空间法)要高得多 这是因为由于 锥之间的相似度计算需要大量的计算并且扩展的具有 个参考锥的 的成本是原始 的 倍 为了减轻这种高成本将相似度计算分为两个步骤 第一步基于子空间相似度第二步基于式()中的锥相似度 通过对锥的基底进行 正交化预先生成包含每个锥的子空间 然后在第一步中从一个输入锥生成输入子空间并计算输入和参考子空间之间的相似度 然后根据上述得到的子空间相似性选择几个邻域参考子空间 在第二步中计算输入锥和参考锥的相似度它们对应于上面选择的参考子空间 最后将输入锥划分为锥相似度最大的类别 这两步可以大大降低计算成本同时保持了扩展 的高分辨能力 评价实验.多角度使用的有效性在本实验中通过使用 数据集进行分类实验验证了使用多角度计算凸锥之间结构相似性的有效性 数据集由 个不同类别的对象图像组成每个类有 种类型的对象 因此这个数据集由 个对象拍摄的图像组成 每个对象从 个视点捕获图像总数为 从每个类集中随机抽取 个对象进行训练其余 个对象用于测试 作为输入图绵阳师范学院学报(自然科学版)像集为每个对象使用 张多视图图像 因此有 个图像集用于训练有 个(个类个对象)图像集用于测试 使用缩放到 像素并转换为灰度的图像将灰度图像的向量化特征作为输入即特征向量的维数为 使用判别空间 来评价互凸锥方法()和约束()的分类性能同时改变用于计算相似度的角度数 以互子空间法()和约束子空间法()为研究对象 将参考子空间和凸锥的维数设置为 将输入子空间和凸锥的维数设置为 图 分类实验结果.图 显示了不同方法的精度随角度数的变化情况 这验证了凸锥表示的有效性并表明使用多个角度来比较两个凸锥的结构是必要的.凸锥的表示能力本实验旨在揭示凸锥如何有效地捕捉图像集的基本结构信息 为此使用多视图手形数据集来评估所提的方法同时改变训练数据的数量 除了所提的方法和/还展示了 软投票的结果以验证考虑图像集结构信息的重要性 多视图手部形状数据集由 类手部形状组成 每组数据对 名受试者使用配备 台同步摄像机的多镜头系统每间隔 度以每秒 帧的速度收集 秒 在数据收集过程中受试者被要求以恒定的速度旋转双手以增加视点的数量 图 显示了数据集中的样本图像 共收集图像 张(类 帧 台摄像机 名受试者)图 实验中使用的多视图手形数据集的样本图像.每一行从不同的角度显示一个手的形状 把受试者随机分成两组 一组用于训练另一组用于测试 为了评估凸锥表示的效率将用于训练的被试数量设置为、和 因此训练图像的数量为(类台摄像机 帧 个受试者)本文将测试的受试者数量设置为 人将受试者的 张图像作为输入图像集 因此用于测试的凸锥总数为 (类 名受试者)在这个实验中使用了 的特征 为了提取有效的 特征对(上预训练的)进行微调稍微修改了 的架构以适应实验设置 首先用带赵蓉城 基于凸锥模型的图像集分类方法的改进 有 功能的 路完全连接()层替换了 的最后一层 接下来在替换的 层后面添加了一个带有 的类编号通道 层 然后使用训练图像对修改后的 进行训练 从替换的 路 层中提取每个图像的 特征 因此 特征向量的维数 为 此外利用这种微调网络作为方法的基线不考虑图像集的结构步骤如下:根据最后一个 层的输出确信度类的平均值用 对输入图像集进行分类 在下面的代码中将这个方法称为 对于基于子空间和锥的方法在训练集上通过网格搜索进行参数调整调整范围如下:类子空间和凸锥的维数以 为增量在 之间变化输入子空间和凸锥的维数以 为增量从 变化到 对于 将判别空间 的维数设为类间方差 的矩阵秩 对于 广义差分子空间()的最大维数 为(类子空间维数)(类数)的维数通过相同的策略进行调整同时以 为增量改变降维 范围从 到 的尺寸设置为 后面的实验也采用了这种策略 表 显示了相对于 个训练对象的准确性 子空间法和凸锥法的综合性能均优于 方法 特别是当训练对象数 较小时改善效果显著 从这个结果可以看出考虑图像集结构信息的重要性 本文所提方法优于基于子空间的 和 方法 这支持了本文核心思想的有效性:利用凸锥表示和具有多个角度的锥相似 结果表明即使训练数据较少凸锥也能有效稳定地提取图像集的有用信息 此外 在所有情况下均表现出优于 的性能 这种改进表明了投影到 的有效性该投影根据锥体之间的差异提取鉴别特征 这种洞察力也意味着凸锥模型的有效表示能力.多凸锥的表示能力在本小节中在基于视频的人脸识别数据集 ()上使用四个具有代表性的图像特征评估除单个凸锥外多个凸锥的表示能力:分别从 和 数据集上训练的 中提取局部二值模式()、梯度直方图()和两种 特征 展示了本文所提方法的分类性能包括使用 的 及其快速实现 为了方便本文使用 来表示 的 数据集包含 人的 个视频 使用一组由增量学习跟踪器()从视频中提取的人脸图像作为图像集 每个人随机选择 个视频作为训练数据每个人随机选择 个视频作为测试数据 用不同的随机选择重复评估五次 为了提取 和 特征将提取的所有人脸图像缩放到 像素并进行灰度转换 为了提取 特征将所有人脸图像缩放到 像素然后输入到网络中 绵阳师范学院学报(自然科学版)通过网格搜索算法对训练集中的参数进行调整其范围如表 左列所示和 分别是输入子空间和类子空间的维数和 分别为输入锥和类锥的基向量数是 的维数参数是 中每个锥的基向量个数 将判别空间 和加权判别空间 的维数分别设为类方差 和 之间的矩阵秩 此外对于快速的 通过子空间相似性选择最接近的凸锥数设为 表 数据集的实验结果(识别率()标准差).()集群/.快速.表 显示了基线以及使用四种特征提出的方法的分类结果 实验结果支持了本文主要想法以及前两个实验的有效性因为无论使用的特征是什么 和 都显示出与基线相比更有竞争力的结果 在 中引入多重凸锥和加权判别空间 提高了 的性能 这种进一步的增强方法表明:)锥体具有较好的表示能力)权值能够有效地获取不同类锥体之间的局部精细结构信息 此外快速版本的 取得了与原始 几乎相同的识别率同时比原始 提高了十倍以上如表 所示 结果表明用子空间相似度代替锥体相似度可以比较相差较远的一对锥体之间的相似度 尽管 在所有特性上都显著优于 但改进的数量是不同的 为了分析这种差异本文使用 聚类自动估计每个类中的聚类数量 表 的第二行显示了集群的最小、最大和模式数 可以看出平均一个类中聚类越多 对分类性能的提高就越显著 这表明可以利用多个凸锥有效地表示每个类的复杂结构并利用加权差提取有用的信息进行分类.分类性能比较本节使用三个公共数据集:、和 全面评估所提方法的分类性能 为作比较除了基线外还展示了各种基础和最新的子空间方法(、)的结果 赵蓉城 基于凸锥模型的图像集分类方法的改进 表 给出了所提方法与各种常规方法的分类结果 在所有数据集上的结果与实验结果一致证明了凸锥表示、多角度锥相似度和判别空间等关键思想的有效性 例如在 和 数据集上 和 的效果比 好 以上 此外与更强大的子空间方法相比该方法取得了较好的效果 这一结果也验证了所提方法的有效性并表明基于凸锥的框架可以在未来利用子空间方法的进展进一步增强 结语本文建立了一种新的基于凸锥表示的图像集分类框架即约束互凸锥方法()该框架能准确地表示图像集的几何结构 在评价实验中首先验证了使用多角度来比较两个凸锥是必要的 然后证明了凸锥之间的差异可以捕获更多有用的信息 通过大量的实验对该框架的分类性能进行了评价结果表明该框架可以与各种传统的分类方法相媲美 同时)本文开发了两个新的技术扩展显著提高了分类性能和降低了计算成本)本文从两个关键的角度对所提出的方法进行了更详细的表述和深入的分析)重新设计了所有的物体识别和人脸识别实验更广泛验证了所提出方法的有效性 参考文献:./.():.:.():./().:.顾高升葛洪伟周梦璇.基于广义均值的鲁棒典型相关分析算法.计算机科学与探索():./.:.陆兵.融合 判别分析的多任务深度判别度量学习的化妆人脸验证方法.计算机应用与软件():.诸燕平蒋爱民陈阳戎海龙.基于扩散策略的分布式多维尺度节点定位算法.华中科技大学学报:绵阳师范学院学报(自然科学版)自然科学版():.张善新范强周治平.基于贝叶斯优化神经网络的物体形状分类.激光与光电子学进展():.桑农李默然.基于三维卷积的人手姿态估计高分辨率网络.华中科技大学学报:自然科学版():.范哲意曾亚军蒋姣等.改进的稀疏表示静止视频人脸识别算法.信号处理():.李珣王高平李林鹏等.基于 图像的物体识别方法.西安工程大学学报():.周书田颜信谢镇汕.视频人脸识别中高效分解卷积与时间金字塔网络研究.电子科技大学学报():./.:.():.:/().:.陈旭解天祺.基于 和 特征的纹理材质分类.计算机应用与软件():.尧佼于凤芹.基于候选区域定位与 特征组合的行人检测.激光与光电子学进展():.():.王超.基于临近锚节点修正的 聚类加权定位算法.太赫兹科学与电子信息学报():.():.:/.:./.:./.:./.:./.:.宁尚军刘小华盖健.基于仿射包的图像集人脸识别的鲁棒算法.东北师大学报:自然科学版():.王军浩闫德勤刘德山等.高光谱图像分类的融合分层深度网络联合稀疏表示算法.模式识别与人工智能():.(责任编辑:陈英)赵蓉城 基于凸锥模型的图像集分类方法的改进