核广义多重集的典型相关分析_黄遵文.pdf

Application 创新应用328 电子技术 第 52 卷 第 6 期（总第 559 期）2023 年 6 月学 习 方 法，使 得 分 类 性 能 有 限，本 文 提 出 一种核广义多重集典型相关分析方法（Kernel Generalized Multiple Canonical Correlation Analysis,KGMCCA），引入的核方法3通过变换将原空间中非线性可分的数据映射到高维特征空间中，将复杂的非线性问题转变为线性问题，利用矩阵类内散布思想，充分利用样本的类别信息。在人脸数据集上的实验结果表明，该方法相较于其他特征提取方法具有更好的识别率。2 基础知识 2.1 典型相关分析CCA假设X=(x1x2xn)Rdxn和Y=(y1y2yn)Rdyn是同一目标的两个视图的数据集,其中dx、dy是样本x和y的维数，n为样本数。CCA旨在优化相关准则来找到一组投影方向，使得投影向量的相关系数达到最大投影向量相关系数定义为式（1）。（1）0 引言CCA作为无监督的线性方法，对于非线性问题无能为力，从而影响识别性能。1 研究背景典型相关分析（Canonical Correlation Analysis,CCA）1是1936年由Hotelling提出,是一种将两个多维变量之间的线性关系关联起来的方法，CCA利用同一个对象的两个视图来提取不同表示。可以看作是为两组变量寻找基向量的问题，使得变量在基向量上的投影之间的相互关系达到最大。随着数据收集和数据存储技术的快速发展,它的理论己经比较完善，计算机的发展解决了典型相关分析在应用中计算方面的困难，成为普遍应用的进行两组变量之间相关性分析技术，MCCA（Multiple Canonical Correlation Analysis，MCCA）2作为CCA方法的广义化扩展，用来对多组变量之间的线性关系进行处理。传统典型相关分析方法只适用于线性组合问题，对于非线性问题无能为力，属于无监督作者简介：黄遵文，平安开诚智能安全装备有限责任公司；研究方向：智能算法分析和应用。收稿日期：2022-09-16；修回日期：2023-06-12。摘要：阐述典型相关分析（CCA）是一种重要的多特征提取方法，它是研究变量之间相关的一种统计分析方法，能够有效地揭示变量之间的相互线性依赖关系。传统CCA方法没有充分利用样本类别信息并且只能处理简单的线性问题，提出一种核广义多重集典型相关分析方法（KGMCCA），通过引入核方法和监督信息，能够提取更具鉴别性的特征信息。在人脸数据集上的实验结果表明，该方法相较于其他特征提取方法具有更好的识别率。关键词：智能算法，核广义多重集，人脸识别，矩阵类内散布。中图分类号：TP183，TP391.41文章编号：1000-0755(2023)06-0328-03文献引用格式：黄遵文.核广义多重集的典型相关分析J.电子技术,2023,52(06):328-330.核广义多重集的典型相关分析黄遵文（平安开诚智能安全装备有限责任公司，安徽 232008）Abstract This paper expounds that Canonical correlation analysis(CCA)is an important multi feature extraction method,which is a statistical analysis method to study the correlation between variables,and can effectively reveal the linear dependence between variables.The traditional CCA method does not make full use of the sample category information and can only deal with simple linear problems.It proposes a Kernel Generalized Multiset Canonical Correlation Analysis method(KGMCCA),which can extract more discriminative feature information by introducing the kernel method and supervisory information.The experimental results on facial datasets show that this method has better recognition rate compared to other feature extraction methods.Index Terms intelligent algorithm,kernel generalized Multiset,face recognition,matrix intra class dispersion.Canonical Correlation Analysis of Kernel Generalized MultisetHUANG Zunwen(Ping An Kaicheng Intelligent Safety Equipment Co.,Ltd.,Anhui 232008,China.)Application 创新应用电子技术 第 52 卷 第 6 期（总第 559 期）2023 年 6 月 329其中，Sxy表示X和Y的协方差矩阵。根据投影方向的尺度不变形，CCA可以转化为式（2）和式（3）。（2）（3）利用拉格朗日乘数法可以进一步转换为求解广义特征值问题为式（4）。（4）2.2 广义多重集典型相关分析GMCCA假设有n组随机变量X1X2Xn，n组样本集已做中心化处理且符合正态分布。设n组随机变量投影向量分别为a1,a2,an，GMCCA准则函数为式（5）。（5）其中，Lij=nSij，Swi表示的Xi类内散布矩阵，即式（6）所示。（6）2.3 核多重集典型相关分析KMCCA典型相关分析CCA只适用于线性组合问题，对于非线性问题无能为力，因此引入核方法通过变换将原空间中非线性可分的数据映射到高维特征空间中，将复杂的非线性问题转变为线性问题如式（7）。（7）其中，表示从原始空间到高维空间的映射。KMCCA准则函数可以表示为式（8）。（8）其中，Kxi=(Xi)T(Xi)，Kxj=(Xj)T(Xj)。3 核广义多重集典型相关分析方法KGMCCA假设有n组随机变量X1X2Xn，n组样本集已做中心化处理且符合正态分布。设n组随机变量投影向量分别为a_1,a_2,a_n，利用核方法将原始样本数据映射到高维核空间如式（9）。（9）KGMCCA准则函数可以表示为式（10）。（10）引用核函数原理，令Kxi=(Xi)T(Xi)，Kxj=(Xj)T(Xj)。其中Swi表示原始样本在高维核空间中对应的类内散布矩阵，如式（11）。（11）可得KGMCCA最优化模型为式（12）和式（13）。（12）（13）利用拉格朗日乘数法构造目标函数，有式（14）。（14）分别对a1，a2，an求偏导可得式（15）。（15）用矩阵形式可以表达为式（16）。（16）4 实验与分析为了评估KGMCCA对于人脸图像的识别性能，分别在ORL和Umist人脸数据集上进行实验，为了降低小样本问题的影响实验前先对样本数据使用主成分分析PCA降维至100维，再将KGMCCA方法与MCCA，DMCCA，GMCCA方法进行对比分析，使用最近邻分类器得到最终识别率结果。4.1 ORL人脸数据集上的实验ORL人脸数据集由40个不同年龄、不同性别和不同种族的对象的人脸图像组成，每个人10幅图像共计400幅灰度图像组成，图像尺寸均为92112。实验从每类样本中进行10次随机抽取，每次抽取n(n=2,3,4,5,6)个样本作为训练样本，其余样本作为实验的测试样本。MCCA作为无监督的线性方法，无法处理复杂的非线性问题，平均识别率较低，DMCCA和GMCCA利用了样本类别信息，相较于MCCA识别率有显著提升，KGMCCA不仅融入监督信息，还使用了核方法对于非线性问题进行解决，表现出了最佳识别性能。4.2 Umist人脸数据集上的实验Umist数据集包括20个人共564幅图像，每个人具有不同角度、不同姿态的多幅图像。实Application 创新应用330 电子技术 第 52 卷 第 6 期（总第 559 期）2023 年 6 月验从每类样本中进行10次随机抽取，每次抽取n(n=5,6,7,8,9)个样本作为训练样本，其余样本作为实验的测试样本。表1所示为Umist人脸数据集中的算法平均识别率。实验结果显示，在不同训练样本个数下KGMCCA均表现出最佳识别性能，表明KGMCCA相较于其他特征提取方法更具鉴别力。5 结语本文提出了核广义多重集典型相关分析方法，引入核方法通过将原空间中非线性可分的数据映射到高维特征空间中，将复杂的非线性问题转变为线性问题，利用矩阵类内散布思想，充分利用样本的类别信息，在两个人脸数据集的实验结果显示出良好的识别性能。参考文献1 X.Y a n g,W.L i u,D.T a o.C a n o n i c a l correlation analysis networks for two-view image recognitionJ.Information Sciences,2017,38(5):338-352.2 Zhichao Liu.Target recognition of SAR images using fused deep feature by multiset canonical correlations analysisJ.Optik,2022,22.3 Chen Luefeng.K-Means Clustering-based Kernel Canonical Correlation Analysis for Multimodal Emotion RecognitionJ.IFAC PapersOnLine,2020,53(2).4 Huiling Zhou,Kin-Man Lam.Face hallucination using orthogonal canonical correlation analysisJ.Journal of Electronic Imaging,2016.5 Xianglei Xing,Kejun Wang,Tao Yan,Zhuowen Lv.Complete canonical correlation analysis with application to multi-view gait recognitionJ.Pattern Recognition,2016.6 Sheng Wang,Jianfeng Lu,Xingjian Gu,Chunhua Shen,Rui Xia,Jingyu Yang.Canonical principal angles correlation analysis for two-view dataJ.Journal of Visual Communication and Image Representation,2016.7 Xianglei Xing,Kejun Wang.Couple manifold discriminant analysis with bipartite graph embedding for low-resolution face recognitionJ.Signal Processing,2016.8 Chu D,Liao L,Ng M,et al.Sparse kernel canonical correlation analysisC.Proceedings of International Multi conference of Engineers and Computer Scientists,2013.9 Jia Cai,Yi Tang,Jianjun Wang.Kernel canonical correlation analysis via gradient descentJ.Neurocomputing,2016.10 Guangfeng Lin,Guoliang Fan,Xiaobing K a n g,E r h u Z h a n g,L i a n g j i a n g Yu.Heterogeneous feature structure fusion for classificationJ.Pattern Recognition,2016.11 Yu Zhang,Guoxu Zhou,Jing Jin,Yangsong Zhang,Xingyu Wang,Andrzej Cichocki.Sparse Bayesian multiway canonical correlation analysis for EEG pattern recognitionJ.Neurocomputing,2017.12 Ke-Kun Huang,Dao-Qing Dai,Chuan-X i a n R e n.R e g u l a r i z e d c o p l a n a r discriminant analysis for dimensionality reductionJ.Pattern Recognition,2017.13 Yin Bi,Mingsong Lv,Yangjie Wei,Nan Guan,Wang Yi.Multi-feature fusion for thermal face recognitionJ.Infrared Physics and Technology,2016.14 SooCheong(Shawn)Jang,Clark Hu,Billy Bai.A Canonical Correlation Analysis of E-Relationship Marketing and Hotel Financial PerformanceJ.Tourism and Hospitality Research,2006.表1 在Umist人脸数据集上算法平均识别率