基于超图正则化非负张量链分解的聚类分析_戴浩磊.pdf

第 49卷 第 6期2023年 6月Computer Engineering 计算机工程基于超图正则化非负张量链分解的聚类分析戴浩磊，黄永慧，周郭许（广东工业大学 自动化学院，广州 510006）摘要：非负张量链分解作为一种重要的张量分解模型，可保留数据内部结构信息，广泛应用于高维数据的特征提取和表示。从流形学习角度出发，高维数据信息通常潜在于低维空间的非线性流形结构中，然而现有图学习理论只能建模对象间的成对关系，很难准确刻画具有复杂流形结构的高维数据的相似关系。引入超图学习，提出一种超图正则化非负张量链(HGNTT)分解方法，在高维数据中提取低维表示的同时通过构建超图描述样本数据间的高阶关系，从而保留非线性流形结构，同时采用乘法更新方法对 HGNTT 模型进行优化求解并证明其收敛性。在ORL 和 Faces95这两个公开数据集上的聚类实验结果表明，相比于 NMF、GNMF 等方法，HGNTT 方法的聚类准确率和归一化互信息分别提升了 1.2%7.6%和 0.2%3.0%，验证了 HGNTT方法的有效性。关键词：非负张量链分解；特征提取；超图学习；乘法更新方法；聚类分析开放科学（资源服务）标志码（OSID）：中文引用格式：戴浩磊，黄永慧，周郭许.基于超图正则化非负张量链分解的聚类分析 J.计算机工程，2023，49（6）：81-89.英文引用格式：DAI H L，HUANG Y H，ZHOU G X.Clustering analysis based on hyper-graph regularized non-negative tensor train decomposition J.Computer Engineering，2023，49（6）：81-89.Clustering Analysis Based on Hyper-graph Regularized Non-Negative Tensor Train DecompositionDAI Haolei，HUANG Yonghui，ZHOU Guoxu（School of Automation，Guangdong University of Technology，Guangzhou 510006，China）【Abstract】Non-negative Tensor Train（NTT）decomposition，as an important tensor decomposition model，can preserve the internal structure information of data and is widely used in feature extraction and representation tasks of high-dimensional data.From the perspective of manifold learning，high-dimensional data information is usually latent in the nonlinear manifold structure in low-dimensional space.However，existing graph learning theories can only model pairwise relationships between objects，and accurately portraying the similar relationships of high-dimensional data with a complex manifold structure is difficult.By introducing hyper-graph learning，this study proposes a Hyper-Graph regularized Non-negative Tensor Train（HGNTT）decomposition method for extracting low-dimensional representations from high-dimensional data while describing the higher-order relationships between sample data points by constructing hyper-graphs，thereby preserving the nonlinear manifold structure.Moreover，a Multiplicative Update（MU）method is used to optimally solve the HGNTT model and prove its convergence.Clustering experiments on two publicly available datasets，ORL and Faces95，show that the clustering accuracy and Normalized Mutual Information（NMI）of the HGNTT method improves by 1.2%-7.6%and 0.2%-3.0%，respectively，compared with those of NMF and GNMF，thereby validating the effectiveness of the HGNTT method.【Key words】Non-negative Tensor Train（NTT）decomposition；feature extraction；hyper-graph learning；Multiplicative Update（MU）method；clustering analysisDOI：10.19678/j.issn.1000-3428.00647400概述 随着科学技术的迅速发展，高维数据如今已存在于人们生活的方方面面，如多媒体数据、网络文档数据、脑电图数据等。这些数据具有高维特性，结构复杂，内部包含丰富的物理信息。传统矩阵分解方基金项目：国家自然科学基金（62073087）；广东省重点领域研发计划（2019B010154002）。作者简介：戴浩磊（1997），男，硕士研究生，主研方向为高阶张量数据处理、高性能计算；黄永慧（通信作者），讲师、博士；周郭许，教授、博士。收稿日期：2022-05-18 修回日期：2022-07-28 Email：msh_人工智能与模式识别文章编号：1000-3428（2023）06-0081-09 文献标志码：A 中图分类号：TP3912023年 6月 15日Computer Engineering 计算机工程法1在处理高维数据时，不能较好地捕捉高维数据的多线性结构，从而降低了其获取的低维特征的有效性。张量2作为向量与矩阵的高阶推广，在保持高维数据的多线性结构方面具有一定优势，应用前景广阔。与此同时，受益于多重线性代数的发展，使用张量分解的数据分析技术在选择与数据属性相匹配的约束条件和提取数据中更普遍的潜在成分方面相较于矩阵分解方法更具优势。经 典 的 张 量 分 解 模 型 包 括 CANDEC-OMP/PARAFAC（CP）分解3-4和 Tucker 分解5模型。CP分解将一个张量分解为多个秩-1 张量和的形式。Tucker 分解将一个张量分解为一个核张量和多个因子矩阵的多线性乘积的形式6。基于这两种模型，研究人员进行了许多研究并提出了一系列改进模型，如完全贝叶斯 CP（Fully Bayesian CP，FBCP）分 解7、半 监 督 非 负 Tucker 分 解（Semi-supervised Non-negative Tucker Decomposition，SNTD）8和 正交 非 负 Tucker分解（Orthogonal Non-negative Tucker Decomposition，ONTD）9 等。然而，这两种模型本身也存在局限性：CP 分解虽然能提供紧凑的张量表示，但很难找到最优的低秩结构，尤其在高阶情况下；Tucker 分解虽然在高阶数据拟合上具有优越性能，但参数量会随着阶数的增加成指数增长，在实际应用中容易引起维度灾难。为了解决这些问题，张量链（Tensor Train，TT）10-12分解被提出并得到广泛应用，将高阶张量分解为一系列二阶或三阶核心张量的多线性乘积，结构简单且容易实现。此外，由于该模型的参数量与张量阶数成线性关系，具有较强的数据压缩能力，因此不受维度诅咒的影响，是处理高 阶 张 量 的 理 想 模 型。受 非 负 矩 阵 分 解（Non-negative Matrix Factorization，NMF）的启发，为了从张量数据中更好地发现基于局部特征的表示，文献13-15提 出 非 负 张 量 链（Non-negative Tensor Train，NTT）分解模型并得到广泛应用。近年来，为了进一步增强非负矩阵或张量分解方法在特征提取上的表示能力，流形学习16-18受到了研究人员的关注，他们认为部分高维数据其实是由低维的流形结构嵌入高维空间得到，流形学习的目的是将高维空间中的数据映射回低维空间，使得到的低维数据能够体现高维空间中数据的部分本质结构特征。经典的流形学习算法有局部线性嵌入（Locally Linear Embedding，LLE）19、等距特征映射（ISOMAP）20和 拉 普 拉 斯 特 征 映 射（Laplacian Eigenmap，LE）21等。这些算法均使用了局部一致性假设，即空间上邻近的点可能具有相似的嵌入。基于这一假设，CAI 等22通过构造最近邻图来反映数据空间的几何信息，提出图正则化非负矩阵分解（Graph regularized Non-negative Matrix Factorization，GNMF）方法用于数据表示。考虑到数据中的低秩成 分，LI 等23提 出 图 正 则 化 非 负 低 秩 矩 阵 分 解（Graph regularized Non-negative Low-rank Matrix Factorization，GNLMF）方法。张量作为矩阵的高阶扩展，也受到了研究人员的关注。QIU 等24通过对最后一个非负因子矩阵施加图约束，提出一种图正则化非负 Tucker 分解（Graph regularized Non-negative Tucker Decomposition，GNTD）方 法。SOFUOGLU等25引入斯蒂弗尔流形，提出一种图正则化张量链（Graph regularized Tensor Train，GTT）分解方法。吴泽鑫26提出图正则化非负张量链（Graph regularized Non-negative Tensor Train，GNTT）分解方法。这些方法通过在原始数据空间中构造初始图来提高聚类性能。然而，传统图结构只能描述数据间的成对关系，在处理具有高阶关系的数据时可能会造成部分有用信息的丢失27-28。为了解决该问题，SCHLKOPF等29引入超图模型，它可以连接任意数量的顶点，描述数据间的复杂多元关系。由于这一优势，因此基于超图的学习方法受到了广泛关注。ZENG 等30将超图正则化项引入标准 NMF框架，提出一种超图正则 化 非 负 矩 阵 分 解（Hyper-graph regularized Non-negative Matrix Factorization，HNMF）方法。陈璐瑶31 将超图约束纳入非负 Tucker 分解，提出一种超图正则化非负 Tucker分解（Hyper-Graph regularized Non-negative Tucker Decomposition，HGNTD）方法。受超图学习的启发，结合 NTT 模型在数据表示方 面 的 优 势，本 文 提 出 超 图 正 则 化 非 负 张 量 链（Hyper-Graph regularized Non-negative Tensor Train，HGNTT）分解方法，在继承非负张量链优秀数据表示能力的同时通过超图刻画数据间的高阶关系。采用 K-最近邻构建超图对原始数据空间的几何结构信息进行编码，然后将其引入非负张量链分解模型，同时利用乘法更新（Multiplicative Update，MU）方法迭代求解得到数据的低维表示。1相关工作 1.1符号和基本操作简要介绍张量分解的一些重要概念，同时在表 1中列出所用到的一些基本符号，更多细节设置可参考文献 2。定义 1（模式-n 展开）张量按模式-n 展开后是1个矩阵，对 1个给定的 N 阶张量X RI1 I2 I，经过表 1基本符号表示 Table 1Basic symbol representation符号tr含义内积外积迹运算符号*含义哈达玛积克罗内克积缩并操作82第 49卷 第 6期戴浩磊，黄永慧，周郭许：基于超图正则化非负张量链分解的聚类分析模式-n展开后得到展开矩阵X()n RIn I1I2 In-1In+1 IN。原始张量X中的元素xi1,i2,iN映射为模式-n矩阵X()n中的元素x()In I1 In-1In+1 INin,j。定义2（模式-n乘积）1个N阶张量XRI1I2I和 矩 阵ARJnIn的 模 式-n 乘 积 为Z=Xn ARI1I2In-1JnIn+1IN，其 元 素 形 式 表 示 为Zi1,i2,in-1,in,in+1,iN =in=1Inxi1,i2,iNajnin。定 义 3（张 量 的 缩 并）对 于 1 个 K 阶 张 量XRI1I2INIK和1个D阶的张量Y RJ1J2JMJD，其中，IN=JM，这2个张量经过缩并积操作后可以整理为一个新的张量ZRI1I2IN-1IN+1IKJ1J2JM-1IM+1JD，可记作Z=X*Y。1.2非负张量链分解LEE 等13提出 NTT 分解方法，主要思想是将复杂的高维数据优化问题转化为一系列易于处理的低维数据优化问题。因此，NTT 分解旨在用一系列二阶或三阶核心张量的多重线性乘积来表示高维张量。对于一个给定 N 阶张量X RI1 I2 I，NTT 分解旨在搜索原始张量X的 N 个潜在的二阶或三阶核心张量G=G(1),G(2),G(N)，可以转化为如下最优化问题：minG(n)X-G(1)*G(2)*G(N)2Fs.t.G(N)0,n=1,2,N（1）其中：G(n)RRn-1 In Rn。在这种情况下，核心张量G与X的每个元素的关系可以表示如下10：X(i1,i2,iN)=r0,r1,rNG(1)()r0,i1,r1G(2)(r1,i2,r2)G(N)(rN-1,iN,rN)（2）其 中：n=1,2,N；R=R1,R2,RNT RN1是 NTT的秩，但值得注意的是，NTT模型秩中限制R0=RN=1。将其扩展到矩阵层面，可得到：X(i1,i2,iN)=G(1)i1 G(2)i2 G(N)iN（3）其中：G(N)iN RRN-1 RN是第 N 个核心张量的第 N 个侧面切片矩阵。NTT分解示意图如图 1所示。如果对 1 个张量X RI1 I2 I进行 NTT 分解，可以用 2条由对应的核心张量缩并操作得到的子链G n来简化表示：G n=G(n+1)*G(n+2)*G(N)RRn In+1 IN（4）推 导 得 到 原 始 张 量X的 模 式-n 矩 阵X(n)RIn I1 In-1In+1 IN，可表示如下：X(n)=G(n)(2)(G n(1)G n(n)（5）其中：G()n(2)是核心张量G(n)按模式-2 展开得到的展开矩阵；G n(1)分别是对子链G n按模式-n和模式-1展开得到的展开矩阵。结合式（5），NTT 的子问题形式O(n)NTT可以表示如下：O(n)NTT=12X(n)-G(n)(2)()G n(1)G n(1)0,G n(1)G n(1)0,G n(1)G n(1)G n(1)G n(1)G n(1)G n(1)G n(1)G n(1)G n(1)G n(1)Gn(1)Gn(1)Gn(1)G n(1)G n(1)G n(1)G n(1)G n(1)G N(1)G N(1)G N(1)G N(1)G N(1)G N(1)G N(1)G N(1)G N(1)G N(1)G N(1)G N(1)G N(1)G N(1)G n)(1)G(n)(n)；6.for t=1 to tmax do7.if n=N then8.通过式（27），更新G(N)(2)；9.else10.通过式（22），更新G(n)(2)；11.end if12.end for13.通过G(n)folding(G(n)(2)，对G(n)(2)张量化；14.end for15.直到：达到收敛条件3实验结果与分析 通过聚类实验来分析并验证 HGNTT 方法在不同数据集上的聚类性能，并将其与通用算法进行对比，验证 HGNTT算法的先进性和优越性。3.1评价指标在进行聚类实验时，将从不同模型中所得到的聚类结果与真实标签进行对比，并使用合适的指标来评判实验结果，进而验证各个模型在聚类性能上的优劣性。采用 2 个通用的指标来评估聚类性能：聚 类 准 确 率（A）32和 归 一 化 互 信 息（Normalized Mutual Information，NMI）。聚类准确率可表示如下：A(r,r?)=1ni=1n(ri,map()r?i)（28）其中：r为真实标签集合；r?为预测标签集合；n为样本总数；map()为排列映射函数，将真实标签当作参考标签，然后依照同样的排列方式对预测标签进行重排，聚类标签与真实标签之间是 1-1 映射关系。因此，map()常 被 用 于 处 理 标 签 不 统 一 问 题，结 合Kuhn-Munkres算法通常可得到一个较理想的结果。(x,y)函数可表示如下：(x,y)=1,x=y0,其他（29）NMI 是聚类分析中的一个重要度量指标，用来表示 2个聚类数据集之间的相似程度31。MI表示互信息，反映 2个数据集r和r?之间信息量的相关性，可表示如下：MI(r,r?)=ri r,r?i r?p()ri,r?i lbp()ri,r?ip()ri p()r?i（30）其中：p(ri)和p(r?i)分别表示在数据集中任意选取的样本分别属于集合ri和r?i的概率；p(ri,r?i)表示任意选取的样本同时属于集合ri和r?i的联合概率；MI值越大，2个数据集之间的相似程度越高。为了简化分析，使用 NMI 来代替 MI，可表示如下：NMI(r,r?)=MI(r,r?)H(r)H(r?)（31）其中：H(r)和H(r?)分别表示集合r和r?的熵值。归一化互信息NMI(r,r?)的取值区间为 01。当 2个集合r和r?完全相同时NMI(r,r?)取值为 1，当 2 个集合r和r?相互独立时NMI(r,r?)取值为 0。3.2实验数据与参数设置为 了 验 证 HGNTT 方 法 的 有 效 性，将 其 与NMF1、NTT10、GNMF18、GNTT26、HNMF30、HGNTD31、k-means33等 7种主流方法进行对比。将k-means作为基准方法，直接对样本数据在原始空间上 进 行 聚 类。对 于 NMF、NTT、GNMF、GNTT、HNMF、HGNTD、HGNTT 等方法，样本数据可以从中学习到紧凑的低维表征，然后对这些经过处理后的低维表征使用 k-means 进行聚类。在数据集选取上，在 2个常用公开数据集 ORL和 Faces95上进行聚类实验：1）ORL 数据集。ORL 人脸数据集由 40 个不同采集者的 400 张灰度图像构成。每个被采集者分别有 10 张不同的图像，每张图像的尺寸为119 92像素。对于每个图像采集者，分别在不同的时间和光照情况下，拍摄不同的面部表情和面部细节。在实验中，所有的图像尺寸都被调整为32 27像素，构成一个维度是R32 27 400（其中，400 表示图像张数）的3阶张量数据集。2）Faces95数据集。Faces95人脸数据集由 72个不同采集者的 1 440 张彩色图像构成。每个被采集86第 49卷 第 6期戴浩磊，黄永慧，周郭许：基于超图正则化非负张量链分解的聚类分析者分别有 20张不同的图像，每张图像的尺寸为180 200像素。对于每个图像采集者，拍摄在向前移动过程中的一系列面部表情。由于光线照射和身体摆动的影响，同一个采集者在不同图像上的面部表情都会有一定程度的变化。在实验中，所有的图像尺寸都 被 调 整 为50 45像 素，构 成 一 个 维 度 是R50 45 3 1 440（其中，3表示三原色取值，1 440表示图像张数）的 4阶张量数据集。在实验中，为了降低随机初始化对实验结果的影响，重复进行多次实验，然后计算平均值作为最终结果。为了确保实验结果的公平性，对实验中所用到的公共参数进行统一设置。对于所有方法，将迭代终止误差统一设置为10-4。对于 GNMF、HNMF、HGNTD、GNTT、HGNTT 方法，考虑到参数对图和超图约束的影响，采用网格搜索法从 10-3，10-2，10-1，100，101 中遍历参数进行对比实验，选取性能最优的一组数据作为实验结果。在秩的选取上，对于 NMF、GNMF 和 HNMF，将基矩阵的维数设置为样本类别数 K。对于 HGNTD，将 最 后 1 维 的 秩 固 定 为 样 本 类 别 数 K，对 于 其 他N-1个秩，令其相等并在()In4,In2时进行遍历搜索，其中，In是除样本维度外其余维度数据的中值。对于 NTT、GNTT 和 HGNTT，将第 1 维的秩固定为 1，将最后 1维的秩设置为选取的数据集样本类别数 K。同样地，对于其他N-2个秩，令其相等，并在()In4,In2时进行遍历搜索，最后选出各方法性能最优的一组数据作为实验结果。3.3结果分析为了使实验结果更具可信性，对选取的数据集进行分类处理。根据包含的样本类别数 K 的不同，将原本的数据集分割为多个不同的子集，对这些子集依次进行聚类实验，然后综合对比在简单样本和复 杂 样 本 条 件 下 HGNTT 方 法 的 适 用 性。对 于ORL 数据集，取前K(K为10、15、20、25、30、35、40)类样本构成 7 个新子集；对于 Faces95 数据集，取前K(K为10、20、30、40、50、60)类样本构成 6 个新子集。表 3 和表 4 给出了各方法在 ORL 数据集上进行聚类实验的准确率和归一化互信息，表 5 和表 6 给出了各方法在 Faces95 数据集上进行聚类实验的准确率和归一化互信息，其中最优指标值用加粗字体标示。从上述实验结果可以看出：在保留了数据内部的多线性结构后，张量分解方法相比于矩阵分解方法普遍具有更好的聚类性能；在保留了数据的局部表 3在 ORL数据集的不同子集上的聚类准确率 Table 3Clustering accuracy on different subsets of the ORL dataset%K10152025303540Avgk-means95.4084.0077.2573.4071.8368.4367.7576.86NMF91.5083.6780.0078.2074.0070.7868.2578.06GNMF92.0086.6781.0080.8077.5073.8672.2580.58HNMF95.6789.5682.5080.4078.6773.5270.2581.51HGNTD95.0089.3386.1783.6079.7875.9173.9283.39NTT92.5085.3379.2578.6075.1772.8669.8879.08GNTT94.5089.6786.2582.4079.6776.3474.2583.30HGNTT96.0091.5687.1585.8080.1776.7273.8884.47表 4在 ORL数据集的不同子集上的归一化互信息 Table 4Normalized mutual information on different subsets of the ORL dataset%K10152025303540Avgk-means94.7091.0387.8685.4684.4485.1184.7187.62NMF92.2390.8388.5088.5085.5784.9283.7787.76GNMF91.0491.2488.8589.1388.5587.2386.1388.88HNMF94.6692.7989.9888.2089.3686.6884.8489.50HGNTD93.6892.8991.3090.1789.2488.1687.6890.44NTT91.3789.8588.2886.7084.7185.8985.0487.41GNTT93.0692.8691.1389.5188.4588.1087.3190.06HGNTT95.2992.9691.6490.3889.4187.9686.8490.64表 5在 Faces95数据集的不同子集上的聚类准确率 Table 5Clustering accuracy on different subsets of the Faces95 dataset%K102030405060Avgk-means61.2546.3850.6749.0046.3545.7049.89NMF57.7549.8848.5848.5046.5546.1748.41GNMF61.2552.0053.0351.2549.3046.5252.23HNMF61.8547.6351.5047.3847.6046.4250.40HGNTD66.5053.0053.8351.3350.2046.8953.63NTT64.7556.2552.8350.1947.8546.2953.03GNTT68.7552.5053.4251.5650.0046.6753.82HGNTT70.0054.2556.5053.4450.8547.5455.43表 6在 Faces95数据集的不同子集上的归一化互信息 Table 6Normalized mutual information on different subsets of the Faces95 dataset%K102030405060Avgk-means65.8460.7567.3769.7768.5169.1366.90NMF61.4461.8964.6867.0868.0068.7165.30GNMF68.2764.6669.0369.9769.4269.0568.40HNMF64.3261.1366.1567.0367.7668.9065.89HGNTD69.8263.9868.5769.2269.9569.1468.47NTT65.5467.3668.6467.5068.8369.1567.84GNTT68.7263.9868.1469.6369.4568.9368.14HGNTT69.9164.3669.2270.2670.0669.5268.89872023年 6月 15日Computer Engineering 计算机工程几 何 结 构 信 息 后，施 加 了 图 约 束 和 超 图 约 束 的GNMF、GNTT、HNMF、HGNTD 等方法相比普通方法在聚类性能上有更大的性能提升；HGNTT方法在继承之前方法优良特性的基础上，进一步考虑数据间的复杂多元关系，相比于其他方法，聚类准确率提升了约 1.2%7.6%，归一化互信息提升了约 0.2%3.0%，验证了 HGNTT 方法在处理聚类任务时的有效性。为了验证 HGNTT-MU 算法的收敛性，在 ORL和 Faces95数据集上进行收敛性实验，最大迭代次数统一设置为 400。图 3 和图 4 分别给出了 HGNTT-MU 算法在 ORL和 Faces95数据集上的收敛曲线，可以看出 2 条曲线在总体上呈现单调下降趋势，最终趋于平稳，具体为：在迭代初期呈现快速下降趋势，在迭代次数接近 50时达到相对稳定状态，之后平稳下降，最终趋于收敛。4结束语 本文提出一种基于超图正则化的非负张量链分解方法。通过构建超图，发现隐藏在数据间的复杂多元的流形结构信息。结合 NTT 模型，保留高阶数据的多线性结构，挖掘数据内部的潜在信息，使其具备较强的数据压缩能力。采用乘法更新方法，对HGNTT 模型进行优化求解并证明了其收敛性。在ORL和 Faces95公开数据集上的聚类实验结果表明，HGNTT 算法相比于同类算法聚类性能更优。下一步将构造自适应超图，得到通用 HGNTT 模型，以解决在一些具有异常噪声的数据中学习到的超图不理想的问题。参考文献 1 ZHOU G X，CICHOCKI A，XIE S L.Fast nonnegative matrix/tensor factorization based on low-rank approximationJ.IEEE Transactions on Signal Processing，2012，60（6）：2928-2940.2 CICHOCKI A，MANDIC D，DE LATHAUWER L，et al.Tensor decompositions for signal processing applications：from two-way to multiway component analysis J.IEEE Signal Processing Magazine，2015，32（2）：145-163.3 QIU Y C，ZHOU G X，ZHANG Y，et al.Canonical Polyadic Decomposition（CPD）of big tensors with low multilinear rank J.Multimedia Tools and Applications，2021，80（15）：22987-23007.4 QIU Y C，SUN W J，ZHANG Y，et al.Approximately orthogonal nonnegative Tucker decomposition for flexible multiway clusteringJ.Science China Technological Sciences，2021，64（9）：1872-1880.5 KOLDA T G，BADER B W.Tensor decompositions and applications J.SIAM Review，2009，51（3）：455-500.6 LIU Y，LONG Z，HUANG H，et al.Low CP rank and Tucker rank tensor completion for estimating missing components in image dataJ.IEEE Transactions on Circuits and Systems for Video Technology，2020，30：944-954.7 ZHAO Q B，ZHANG L Q，CICHOCKI A.Bayesian CP factorization of incomplete tensors with automatic rank determination J.IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（9）：1751-1763.8 QIU Y N，ZHOU G X，CHEN X Q，et al.Semi-supervised non-negative Tucker decomposition for tensor data representation J.Science China（Technological Sciences），2021，64（9）：1881-1892.9 PAN J J，NG M K，LIU Y，et al.Orthogonal nonnegative Tucker decomposition J.SIAM Journal on Scientific Computing，2021，43（1）：55-81.10 OSELEDETS I V.Tensor-train decomposition J.SIAM Journal on Scientific Computing，2011，33（5）：2295-2317.11 BENGUA J A，PHIEN H N，TUAN H D，et al.Efficient tensor completion for color image and video recovery：low-rank tensor trainJ.IEEE Transactions on Image Processing，2017，26（5）：2466-2479.12 YANG Y，KROMPASS D，TRESP V.Tensor-train recurrent neural networks for video classification EB/OL.图 4HGNTT-MU算法在 Faces95数据集上的收敛曲线Fig.4Convergence curve of HGNTT-MU algorithm on the Faces95 dataset图 3HGNTT-MU算法在 ORL数据集上的收敛曲线Fig.3Convergence curve of HGNTT-MU algorithm on the ORL dataset88第 49卷 第 6期戴浩磊，黄永慧，周郭许：基于超图正则化非负张量链分解的聚类分析2022-04-11.https：/arxiv.org/abs/1707.01786.13 LEE N，PHAN A H，CONG F，et al.Nonnegative tensor train decompositions for multi-domain feature extraction and clustering C/Proceedings of International Conference on Neural Information Processing.Berlin，Germany：Springer，2016：1-9.14 SHCHERBAKOVA E，TYRTYSHNIKOV E.Nonnegative tensor train factorizations and some applications M.Berlin，Germany：Springer，2020.15 YUAN L H，ZHAO Q B，GUI L H，et al.High-order tensor completion via gradient-based optimization under Tensor Train format J.Image Communication，2019，73（C）：53-61.16 LI S Z，HOU X W，ZHANG H J，et al.Learning spatially localized，parts-based representation C/Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D.C.，USA：IEEE Press，2003：1-10.17 CAI D，HE X F，WU X