基于TT秩非凸优化的张量填充方法.pdf

第43卷第3期2023年5月DOI:10.13954/ki.hdu.2023.03.012杭州电子科技大学学报（自然科学版）Journal of Hangzhou Dianzi University(Natural Sciences)Vol.43 No.3May2023基于TT秩非凸优化的张量填充方法杨云荷，凌晨（杭州电子科技大学理学院，浙江杭州310 0 18)摘要：提出一种基于张量火车（TensorTrain，T T)分解的低秩张量填充(Low Rank Tensor Completion，LRTC)模型。首先，采用张量Ket扩展（KetAugmentation,KA)技术将三阶张量扩展为高阶张量，揭示数据张量中的块低秩性；然后，采用非凸函数逼近秩函数，更好地刻画了数据的低秩性。彩色图像恢复实验表明，提出的方法具有较高的峰值信噪比（PeakSignaltoNoiseRatio，PSNR）值，在10%40%的低采样率下，优势更为明显。关键词：张量填充；张量火车秩；非凸优化；Ket扩展；图像恢复中图分类号：0 2 2 1.2文献标志码：A文章编号：10 0 1-9146（2 0 2 3)0 3-0 0 8 3-0 60引 言现代社会面临的数据越来越复杂。由于众多不可抗拒的原因，获取的数据往往是不完整或被污染的，因此，利用不完整数据信息恢复或估计出完整数据非常有意义。现有研究表明，许多现实数据大都呈低秩性。张量作为矩阵的高阶扩展，应用广泛，基于张量的恢复方法可以更好挖掘数据的内部结构。但与矩阵秩的定义不同，张量秩的定义与其分解方式有关，常见的张量秩有CP秩1、Tucker 秩2、管秩3等，各有优势，适用于不同应用场景。2 0 11年，Oseledets4提出了高阶张量TT分解，并基于该分解定义了高阶张量TT秩，在许多应用中更好揭示了数据的内在结构。基于上述特性，Yang等51提出了张量主成分分析模型，运用张量KA技术6 1将三阶张量转换为高阶张量，再用核范数对TT秩进行凸松弛。受文献5启发，本文结合KA技术和TT秩建立了一个非凸低秩张量填充（LowRankTensorCompletion,LRTC)模型。由于求解秩函数是一个NP难问题,本文采用一个简单的凹函数替代秩函数，近似刻画张量数据的低秩性，并采用交替方向乘子法（AlternatingDirectionMultiplierMethod，ADMM)对其求解。1预备知识本文用,，.表示高阶张量，X,Y和x,y，.表示矩阵和向量。N阶实张量ER+*xI的第（iiz，in）个元素记为xiii。针对给定的N阶实张量=（xii）和=（yiin），其内积定 相应地,Frobenius 范数定义为x=xx)。用mN义为 0,ER且0 micm），优化问题如下：min入00;(X)+IX-YIXERmXi-1的最优解为X=US（Z)VT，其中，o;（X）为X的第i大奇异值，Z=diag(oi（Y），2（Y），mi n(mn）（Y)S(Z)=diag(max(o;(Y)-;0),UZVT 为Y 的 SVD分解(i=1,min(m,n)。非凸优化问题如下：其中，g和于需满足：（1)g 为RR+上的连续可导的凹函数，且在0,）上单调递增；(2)f为RR+上一阶连续可导的光滑函数；(3)当 l X Il F时 f(X)00。由于函数g和均为非线性函数，对其目标函数 F(X）在X处进行线性化近似，可得：min(m,n)Xi+1=argminXmin(m,n)argminVg(o;(x);(X)+兰II X-(X*-Vf(X)/)l i=1因为0 Vg(o1(x)Vg(a2(X)Vg(ammmm(Xx)，由引理可知,式(1)有最优解X+1=USs(x)a(2)VT。其中,UZVT 为 X-Vf(X)/的 SVD 分解,Sa(,(xt)/(2)=diag(max(o(X*-Vf(x*)/)-Vg(:(x*)/,)(i=1,min(m,n)。2基于TT秩的LRTC模型本文提出了一种基于TT秩的LRTC模型,简称NTTC模型。2.1 NTTC 模型一般的低秩张量填充模型可表示为：minrank()s.t.Pa()=P(M)其中，MER1*xI为已观测到的不完整张量，2 为M中已观测到数据的指标集，P为线性算子，定义为：在张量TT秩意义下，上述低秩张量填充模型（2）可转化为：P,(X)=P.(M)kN其中，:为加权系数，ER，m=I，n=I。众所周知，秩函数rank（）的极小化是一个i=1min F(X)=XERXi=1Vg(o;(X)o(X)+f(X)+1),=1,-1首先,更新V+(k=1,2,N-1)。由于（，T）中的（=1,2，N一1）是可分离的，可根据如下模型同时更新，杨云荷，等：基于TT秩非凸优化的张量填充方法1.00.90.80.70.60.50.4(V=min C(X,(V,T)+1=min L(X,(V+,T)=I)850.050.10图1函数（）的曲线图N-1minmknk)min&V,(o:()i=1s.t.Pa(x)=P.(M)N-1minm.k),(o.(a)+x-)0.15X0.200.250.30(3)(4)86整理式(6),可得：式中,f(Vk.灯）=argminki=1式中,(o(）=/（o,(）+),(）=一（+T/)。得到问题(8)的显式解，(9)然后，更新什i+1=argmin式（10）的显式解为：N-1k=1iii2iMii2i最后,更新T+1和(k=1,2,N-1)。T+l=T+3(+1-ytl)(gtl=p%,(p 1)2.3收敛性分析由于本文模型求解的主要框架与文献12 中的算法类似,故参照文献14算法的收敛性证明得到如下定理。定理设(，（，T)为式(5）迭代生成的序列，若(和（T）足lim(T+T i）=0 和非递减，则式(5）中选代序列的任一聚点均为模型（4）的稳定点。3数值实验及分析实验在6 4位操作系统的笔记本电脑（Intel(R）C o r e(T M)i5-10 2 10 U C PU 1.6 0 G H z 2.11G H z）上进行，使用MATLABR2018b进行仿真实验，选取规模大小均为2 56 2 56 3的4幅彩色图像，分别为帆船、蝴蝶、巨人、芭芭拉。分别采用本文提出的NTTC、基于t-SVD分解的TCTFL9方法、基于Tucker分解的STDCL101方法、HaLRTC1方法和IpST12方法进行彩色图像的恢复。峰值信噪比(Peak Signal to NoiseRatio,PSNR)o值是衡量算法图像恢复质量的标准,VpsNR=10log1o（2 55*m n）/-M），其中M为原始张量，为恢复所得张量。+-l/Mtol(tol=10-4）作为停机准则，并设置最大迭代次数为2 50。其他参数设为：=10-（k=1,2，,N-1)，=1.01,n=0.001,=1.05,并对不同的展开项赋予不同的权重，=r/r(k=1,2，,N1)，rk=min(mk,n),r=张量KA技术可以更好地提升低秩逼近效果，故在程序执行前，使用KA技术对实验数据进行预处杭州电子科技大学学报（自然科学版）min(mknkmink,(o(r)+x-y+-y,Ti)=1mintmkngkmin一（+T,/）。进一步，采用线性化技术转化式（7），可得：min(mg.kyt=USa,(o(,La)/48(E)VT(s.t.P.(x)=P.(M)N-11Nk=12023年(6)(7)（8）(10)(ii,i2,.,in)$(11)(ii,i2,in)E(12)有界且满第3期理。给定张量 E Rxx,首先,分解 m=mlmXman=n1 n2 na,将X重排为大小为mmmnXnzn的2 十1阶张量;然后，置换i的维数顺序，得到大小为mnm2nzmn的2 q+1阶张量2;最后，将重构为大小为m1nmznz.mn的+1阶增广张量。经KA技术处理的数据张量规模均为44444444X3。在采样率为10%下，5种算法的恢复效果如图2 所示。杨云荷，等：基于TT秩非凸优化的张量填充方法87(a)原始图像(b)缺失图像图210%采样率下，不同算法恢复的彩色图像从图2 可以看出，经本文所提出的填充方法所恢复得到彩色图像结构更清晰，色彩更明亮。采样率为10%50%，采用5种方法进行彩色图像恢复实验，得到上述4幅图片的峰值信噪比值如图3所示。30252015105103025201510510(c)TCTF+TCTFSTDC-HaLRTC-IpST-O-NTTC2030采样率/%(a)帆船+TCTFSTDCVHaLRTC-IpST-NTTC2030采样率/%(c)巨人图3不同算法的峰值信噪比值(d)STDC282624221614121040504050(e)HaLRTC102035301510510(f)IpST+TCTFSTDC-HaLRTC-IpST-e-NTTC3040采样率/%(b)蝴蝶+TCTFSTDCHaLRTC-pST-NTTC2030采样率/%(d)芭芭拉(g)NTTC50405088从图3可以看出，相较于其余4种方法，本文提出的NTTC取得了更高的峰值信噪比值，特别是采样率为10%40%时，优势更为明显。4结束语本文运用TT秩概念,提出一种基于TT秩的LRTC模型。与传统TT秩模型不同,采用非凸函数逼近传统的核范数，更好地刻画了原模型中低秩特性。采用KA技术对张量数据进行升阶预处理，充分展示了数据块低秩性，恢复的彩色图像结构更清晰，纹理更丰富。后续将依据数据张量的稀疏特征，引进相应的正则项，进一步提高数据恢复效果。参考文献1J KOLDA T G,BADER B W.Tensor decompositions and applicationsLJJ.SIAM Review,2009,51(3):455-500.2 TUCKER L R.Some mathematical notes on three-mode factor analysisJJ.Psychometrika,1996,31(3):279-311.3J LU C Y,FENG J S,CHEN Y D,et al.Tensor robust principal component analysis with a new tensor nuclear normJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,42(4):925-938.4J OSELEDETS I V.Tensor-train decompositionJJ.SIAM Journal on Scientific Computing,2011,33(5):2295-2317.5J YANG J H,ZHAO X L,JI T Y,et al.Low-rank tensor train for tensor robust principal component analysisJJ.Applied Mathematics and Computation,2020,367(1):124783.6 BENGUA J A,PHIEN H N,TUAN H D,et al.Efficient tensor completion for color image and video recovery:low-rank tensor trainJ.IEEE Transactions on Image Processing,2017,26(5):2466-2479.7J CHEN K,DONG H B,CHAN K S.Reduced rank regression via adaptive nuclear norm penalizationJ.Biometrika,2013,100(4):901-920.8J LU C Y,FENG J S,LIN Z C,et al.Exact low tubal rank tensor recovery from gaussian measurementsCJ/International Joint Conference on Artificial Intelligence,Stockholm Sweden:AAAI Press,2018:2504-2510.9 CHEN Y L,HSU C T,LIAO H.Simultaneous tensor decomposition and completion using factor priorsJJ.IEEETransactions on Pattern Analysis and Machine Intelligence,2014,36(3):577-591.1oJ LIU J,MUSIALSKI P,WONKA P,et al.Tensor completion for estimating missing values in visual dataJJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(1):208-220.11J SHANG K,LI Y F,HUANG Z H.Iterative p-shrinkage thresholding algorithm for low tucker rank tensorrecoveryJJ.Information Sciences,2019,482(1):374-391.12J OH T H,TAI Y W,BAZIN J C,et al.Partial sum minimization of singular values in robust PCA:algorithm andapplicationsJJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2016,38(4):744-758.杭州电子科技大学学报（自然科学版）2023年A tensor completion method based on TT rank nonconvex optimizationYANG Yunhe,LING Chen(School of Sciences,Hangzhou Dianzi University,Hangzhou Zhejiang 310018,China)Abstract:In this paper,a low-rank tensor completion(LRTC)model based on tensor train(TT)decomposition is proposed.In the presented model,the original third-order tensor is expanded into ahigh-order tensor by using Ket augmentation(KA),so as to reveal the block low-rank feature of thedata tensor.Furthermore,the non-convex function is used to approximate the rank function,whichcan better characterize the low-rank feature of the data.Experiments on color image restorationdemonstrate that the proposed method has higher peak signal to noise ratio(PSNR)value whencompared with the existing four tensor completion methods,especially in the 10%40%sampling rate case.Key words:tensor completion;tensor train rank;nonconvex optimization;Ket augmentation;image restoration