正则稀疏优化模型及算法研究综述.pdf

Artificial Intelligence and Robotics Research 人工智能与机器人研究人工智能与机器人研究,2023,12(3),155-166 Published Online August 2023 in Hans.https:/www.hanspub.org/journal/airr https:/doi.org/10.12677/airr.2023.123018 文章引用文章引用:程克林.正则稀疏优化模型及算法研究综述J.人工智能与机器人研究,2023,12(3):155-166.DOI:10.12677/airr.2023.123018 正则稀疏优化模型及算法研究综述正则稀疏优化模型及算法研究综述 程克林程克林 上海赫立智能机器有限公司，上海 收稿日期：2023年6月13日；录用日期：2023年7月19日；发布日期：2023年7月27日 摘摘 要要 稀疏优化在稀疏优化在工业工业工程工程等实际问题中具有十分重要的作用等实际问题中具有十分重要的作用。在过去的几十年里，很多实际问题可以归纳成在过去的几十年里，很多实际问题可以归纳成正则稀疏优化正则稀疏优化模型模型并求解出欠定系统的稀疏解，因此其并求解出欠定系统的稀疏解，因此其改进和算法设计改进和算法设计得到广泛的研究得到广泛的研究。正则稀疏优化正则稀疏优化模型不仅可以将原问题降维，而且可以将不适定的问题转换为适定问题。关键问题是如何构造正则项，模型不仅可以将原问题降维，而且可以将不适定的问题转换为适定问题。关键问题是如何构造正则项，使得模型具有好的稀疏解的同时还有很好的泛化能力。使得模型具有好的稀疏解的同时还有很好的泛化能力。本文本文，我们重点关注近，我们重点关注近30年来年来正则稀疏优化模型正则稀疏优化模型及算法的研究进展及算法的研究进展，总结归纳了最具代表性的几种正则稀疏优化总结归纳了最具代表性的几种正则稀疏优化模型模型及算法。最后，及算法。最后，结合最新研究成果，结合最新研究成果，针对损伤识别、故障诊断、超分辨率重建和电阻抗层析成像等实际问题，构造不同的新正则稀疏优化模针对损伤识别、故障诊断、超分辨率重建和电阻抗层析成像等实际问题，构造不同的新正则稀疏优化模型，并探讨其型，并探讨其可以研究可以研究发展的发展的方向方向以及更广阔的以及更广阔的应用前景。应用前景。关键词关键词 正则稀疏优化模型，算法，正则项，工业正则稀疏优化模型，算法，正则项，工业工程工程 A Survey on Regularized Sparse Optimization Models and Algorithms Clinton Cheng Shanghai iHorry Machines Co.,Ltd.,Shanghai Received:Jun.13th,2023;accepted:Jul.19th,2023;published:Jul.27th,2023 Abstract Sparse optimization plays a very important role in practical problems such as industrial engi-neering.In the past decades,many practical problems can be generalized into regularized sparse optimization models to solve the sparse solutions of underdetermined systems.Therefore,the improvement of such models and the design of algorithms have been widely studied.The regula-rized sparse optimization model can reduce the dimension of the original problem and transform the ill-posed problem into a well-posed problem.The key point is how to choose and construct the 程克林 DOI:10.12677/airr.2023.123018 156 人工智能与机器人研究 regularization terms so that the model can obtain a good sparse solution with good generalization ability.In this paper,we focus on the research progress of regularized sparse optimization models and algorithms in the past 30 years,and summarize the most representative models and algo-rithms.In addition,according to the latest research results,different new regularized sparse op-timization models are constructed to solve practical problems such as damage identification,fault diagnosis,super-resolution reconstruction and electrical impedance tomography,and the devel-opment direction and broader application prospect of these models are discussed.Keywords Regularized Sparse Optimization Model,Algorithm,Regularization Term,Industrial Engineering Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 很多实际问题如信号与图像处理1 2 3、故障检测4、压缩感知5 6 7、统计学习8、机器学习9 10等很多反问题都是不适定、病态的，比如bAx=+，其中,nm nmxRARbRmn是噪声。为了克服这一困难，人们利用稀疏表示11对原问题进行降维，使不适定的问题变得适定，即建立稀疏优化模型对问题进行求解。稀疏优化模型，旨在寻找一个欠定系统的稀疏解，这个稀疏解中只有极少数分量不为零。我们利用稀疏优化模型求解决策变量 x，即具有稀疏结构的向量，并将其应用到图像处理中。本文将对正则稀疏优化模型以及算法研究的发展进行综述，并总结归纳最具代表性的几种模型及算法。我们将正则稀疏优化模型分为两大类，从正则项的选取和构造特点出发，分为单正则稀疏优化模型和混合正则稀疏优化模型两大类。另外，我们结合最新研究成果，从损伤识别、故障诊断、超分辨率重建和电阻抗层析成像等实际问题出发，提出构造不同的正则稀疏优化模型新思路，并探讨新模型和算法可以研究的内容及方向，进一步探索模型和算法更广阔的应用前景。2.正则稀疏优化模型及算法综述正则稀疏优化模型及算法综述 2.1.l0稀疏优化模型与算法概述稀疏优化模型与算法概述 原始稀疏优化模型共有三种类型：第一种：带有线性约束的 l0极小化稀疏优化模型12 13 220Rmin s.t.nxAxbxM；(1)第二种：带有非线性约束的 l0极小化稀疏优化模型14 02Rmin s.t.nxxAxb；(2)第三种：l0正则稀疏优化模型12 15 16 220RminnxAxbx+；(3)Open AccessOpen Access程克林 DOI:10.12677/airr.2023.123018 157 人工智能与机器人研究 其中m nAR是给定的行满秩测量矩阵，()T1,nnxxxR=是决策向量，mbR为给定观测值向量，2表示 l2范数，0 x为 l0范数，即向量 x 中非零元素的个数，0M 是一个常数，0是误差参数，0是正则参数。如果0 x越小，则向量 x 越稀疏。l0范数具有离散结构，同时模型(1)、(2)和(3)都是 NP-hard 14 15，针对这两大挑战，专家学者提出了两种经典算法：贪婪算法和硬阈值算法。1993 年，Mallat 等11介绍了一种贪婪算法：匹配追踪算法。1995 年，Natarajan 14提出启发式贪婪算法。2004 年，Tropp 17给出了一种贪婪算法:正交匹配追踪算法。但是贪婪算法具有一定的局限性，只有维度较低时，才可以快速有效地求解 l0稀疏优化模型。当处理高维度模型时，该算法效率明显降低.因此专家学者设计出硬阈值算法来高效地求解高维度下 l0稀疏优化模型12 13 18。2006 年，Herrity等13提出两种硬阈值算法：GENERAL 和 BLOCK 迭代阈值算法。2.2.l1正则稀疏优化模型与算法概述正则稀疏优化模型与算法概述 l0稀疏优化模型本身限制了算法的设计和求解效率，因此学者们相继采取了很多改进的方法。首先，1998 年，Chen 和 Donoho 19提出 l1正则稀疏优化模型：221RminnxAxbx+，(4)其中11niixx=是 x 的 l1范数。l1范数正则项能产生稀疏解且对异常值不敏感。同时模型(4)是凸优化模型，当矩阵A满足某些特定条件时20，求解模型(4)与求解模型(3)等价。求解 l1正则稀疏优化模型的代表性算法是迭代收缩阈值算法，又叫软阈值算法。该算法的衍变过程如下：1995 年，Donoho 21首先提出一种去噪技巧：收缩，可以恢复被高斯白噪声污染且在正交基下稀疏的信号；1998 年，针对非线性小波图像，Chambolle 等22给出了收缩算法的思想；2003 年，Figueiredo等23基于软阈值思想提出一种算法处理图像恢复问题；2004 年，Daubechies 等24提出迭代收缩阈值算法；2007 年，Daubechies 等25在前者基础上加以改进，给出加速迭代收缩阈值算法。迭代收缩阈值算法的优点在于它能够自动地确定阈值，从而避免了手动调整阈值的繁琐过程。此外，该算法还能够处理复杂的图像，包括具有不同纹理、颜色和亮度的图像。当然，迭代收缩阈值算法也存在一些不足，比如，该算法对图像的分割结果非常敏感，即使是微小的变化也可能导致分割结果的巨大变化；其次，该算法的计算复杂度较高，需要大量的计算资源和时间。求解模型(4)的经典算法还包括内点算法19等。1998 年，Chen 等19提出基追踪内点法。受到 Donoho等的启发，2007 年，Kim 等26提出一种基于截断牛顿的内点算法专门求解大规模下的模型(4)。内点法一般结合牛顿法来使用，是求解光滑无约束问题的重要方法，其不足之处在于迭代求解十分费时，不过Kim 等人结合的这种截断牛顿方法能够明显降低求解所需要的时间，大大提高了求解大规模问题的效率。此外 2000 年，Osborne，Presnell 和 Turlach 27 28从另一角度出发提出，此方法求解模型(4)。2007年，Figueiredo 等29从梯度投影的角度出发，提出稀疏重构梯度投影方法，数值实验表明该方法具有很广泛的应用空间，并且与其他算法相比计算速度有明显提高。同年，Hale 和印卧涛等30提出不动点连续方法，应用于带有噪声数据的大规模问题时与其他算法相比有很好的效果。2011 年，Becker 及 Cands团队31结合不动点连续技术、光滑化技术32与改进的梯度方法，设计出加速 Nesterov 算法，其中Nesterov 算法的核心之一是对迭代序列进行微调均衡，已被证明可以提高标准梯度下降算法的收敛速率。加速 Nesterov 算法非常适合解决大规模压缩感知重建问题，因为其求解效率高，计算精确，且具有灵活性，适用于许多类型的重建问题，此外，该算法具有鲁棒性，即在广泛的问题上的优异性并不依赖于几个参数的微调。针对具有大动态范围的实际信号问题等该算法也具有明显的优势。2011 年，Yang 等33程克林 DOI:10.12677/airr.2023.123018 158 人工智能与机器人研究 另辟蹊径给出一阶原始-对偶交替方向算法求解模型(4)，算法执行过程中每次迭代都会更新原始变量和对偶变量，数值实验表明该算法有效性的同时还验证了其通用性。2.3.lp正则稀疏优化模型与算法概述正则稀疏优化模型与算法概述 理论分析和数值实验结果表明 l1范数并不是 l0范数在一般实践中的最好近似值34 35。因此 2001年范剑青等36提出并证明了 lp范数较 l1范数可得到更稀疏的解。基于上述理论证明，2008 年，Cands等37给出 lp正则稀疏优化模型：22RminnppxAxbx+，(5)其中()()1/101ppniipxxp=，事实上，模型(5)是介于模型(3)和模型(4)之间的，因为当0p 时有0001limlimnppipppixxx=，而当1p 时有1111limlimnppipppixxx=。模型(5)非凸、非光滑、非 Lipschitz 连续，且是强 NP-Hard 15，不过与模型(3)相比，该模型仍有一些好的性质15 38，这使得针对该模型所设计出的算法其泛化性和适用性高于模型(3)。2010 年，Xu 等39提出1/2l正则稀疏优化模型：21/221/2RminnxAxbx+，(6)并从理论的角度给出模型(6)的代表性意义。2012 年，Xu 等40证明了1/21/2x梯度解的存在性，计算了其解析表达式，建立了 l1/2正则化解的可选特征定理，在此基础上导出了 l1/2正则化解的阈值表示，并给出了最优正则化参数设置规则，进而提出了半阈值算法。数值实验表明该算法是一种有效、高效的求解方法，可以作为一种快速求解 l1/2正则化问题的方法。对于一般的()01pp和R为组合参数。可以通过理论推导出最优组合参数后，在此基础上建立新正则稀疏优化模型，再结合鲸鱼退火算法设计出针对损伤识别的高效算法，最后通过数值实验验证即可。3.2.齿轮箱复合故障诊断齿轮箱复合故障诊断 齿轮箱是工业系统和轨道交通系统中的重要动力传输部件，其运行状况直接关系到工业系统的健康状况和高速列车的服役性能。由于加工工艺复杂，装配精度要求较高，工作环境恶劣，齿轮箱极易受到损伤，这将直接导致旋转机械系统发生故障，从而产生较大的经济损失甚至造成人员伤亡。此外，振动信号中常常包含多种元素并伴随着强烈的背景噪声，给齿轮箱故障诊断带来了很大的困难。宋泽树等56针对传统稀疏分解方法存在的计算效率低，幅值低估以及估计精度不足等问题，提出了一种基于调 Q 小波变换作为稀疏表示字典的广义平滑对数正则化稀疏分解方法，再利用前向后向分裂(Forward-Backward Splitting,FBS)稀疏分解算法精确求解稀疏表示模型，并通过数值实验验证了所提出方法在齿轮箱复合故障诊断中的适用性与优越性，且在强噪声背景下可以提高重构信号的精确度。其中，正则稀疏优化模型的目标函数如下：()()()()()()()21112121 1221 11 1211222212222 21112221122,lg 1lg 1lg 1lg 12F x x v vyA xA xa W xa Wvaaa W xa W vA xvAxvaaa=+(16)式中：1212,Mx x v vR为稀疏表示向量，12,N MA AR为变换域(变换矩阵)，12,为正则化参数，0a 为对数罚函数(正则项)的尺度参数，12,W W为权值矩阵。因为模型的目标函数(16)较为复杂，暂时不考虑引入混合正则项，我们可以构造新的正则稀疏优化模型的目标函数如下：程克林 DOI:10.12677/airr.2023.123018 161 人工智能与机器人研究 ()()()()()()()21112121 1221 11 122221222 21112222222,lg 1lg 1lg 1lg 12,ppppppppF x x v vyA xA xa W xa Wvaaa W xa W vA xvaaAxva=+(17)再结合求解 lp的方法设计高效的迭代算法，并将其应用到齿轮箱复合故障诊断中验证模型和算法的有效性和适用性。3.3.遥感图像超分辨率重建遥感图像超分辨率重建(SRR)SRR 是当前卫星遥感数据空间分辨率提升的重要技术，但目前现有的超分辨率重建方法在处理具有复杂地物特征的图像时效果不是很理想。当遥感图像中含有多种非均匀地物信息时，很难构建通用的模型来解决其病态问题。于是，杨雪等57提出一种混合稀疏表示模型的新型超分辨率重建方法(MSR-SRR)，数值实验表明，该方法的分类结果总体精度和 Kappa 系数提升更明显，得到的图像细节信息更突出，且不受地物本身类别的限制，不局限于图像的信息提取和分类方法，在提升 GF-4 图像分辨率方面有很大潜力，可用于图像去噪和图像恢复等，对减灾防灾、气象预警等具有十分重要的意义。其中正则稀疏优化模型如下：()()222min2ppiiicppDH M uguuT uK s+，(18)式中：()表示重叠组稀疏正则化项，pp表示非凸 lp正则化范数，变量0和0是正则化参数，s表示影像空间域点分量，pps表示影像空间域自身点分量的正则化范数，图像()cTu是特征约束函数，当K 的值选取较大时，图像的平滑比重增大。分析模型(18)中每一项代表的不同意义，可以考虑构造如下两种新正则稀疏优化模型：()()()222222min2ppiiicppDH M uguuuT uK s+，(19)或()()()22222min2ppiiicppDH M uguuuT uK s+，(20)其中0和R为组合参数。可以理论推出或者用数值调参的方式找到最优的混合系数组合，再结合迭代加权 l1交替方向乘子法设计高效算法求解新模型，最后通过数值实验验证新模型和算法的有效性和适用性以及鲁棒性。3.4.CFRP 电阻抗层析成像建电阻抗层析成像建 碳纤维复合材料(CFRP)作为一种新型复合材料，具有高比强度、高比模量及稳定性好等优点，已被广泛应用于航空航天领域。为确保材料使用的安全性，CFRP 的有效检测尤为重要，其中电阻抗层析成像(Electrical Impedance Tomography,EIT)以其无创性、可视化、无辐射、操作简单、成本低等优点被广泛研究应用。但是电阻抗层析成像逆问题求解具有严重的病态性，因此马敏等59提出了一种基于改进低秩稀疏正则化的电阻抗层析成像算法。数值实验表明，该算法能够增强解的稀疏性，改善 EIT 逆问题的病态性，对于冲击损伤、分层损伤和裂纹损伤均具有良好的反演能力，成像质量均优于传统的三大算法，且成像效果稳定，具有良好抗干扰性，在 CFRP 损伤检测方面有良好的应用前景。其中 EIT 重建过程描述如下：程克林 DOI:10.12677/airr.2023.123018 162 人工智能与机器人研究 211222*1minargmin2ppJUdd=+12s.t.,ddX=，(21)式中：1Rn(n 为重建图像中的像素数)为电导率张量模值变化量的分布矩阵，J 为 Jacobian 矩阵，1RmU(m 为独立电压测量值个数)为材料损伤前后电压测量差值，12,为正则化参数，*为核范 数，min(,)*1m niiA=，i为矩阵 A 的奇异值，X 为的先验值矩阵。模型(20)的特别之处在于它是混合稀疏向量和稀疏矩阵的优化模型，基于此，我们可以构造如下两种新正则稀疏优化模型：()221112222*1minargmin2ppJUddd=+12s.t.,ddX=，(22)或()21112222*1minargmin2ppJUddd=+12s.t.,ddX=，(23)其中0和R为混合参数。类似地，可推导或者通过数值调参找到最好的混合系数组合。针对新模型，可考虑结合分裂布雷格曼方法、梯度下降法、奇异值阈值迭代方法等算法思想设计高效的算法，再通过数值实验验证新模型和算法在 CFRP 电阻抗层析成像建上的有效性、适用性和鲁棒性。3.5.低秩矩阵正则稀疏优化模型、算法及应用拓展低秩矩阵正则稀疏优化模型、算法及应用拓展 故障检测(Fault Detection,FD)4在微电子制造、电力系统和农业生产等现代工业过程中至关重要。FD 方法可以分为基于模型的方法和数据驱动的方法。针对故障检测，修贤超和刘万泉等构建了如下低秩矩阵稀疏优化模型4：()22TA,B,C,D1minTr C DXACYBD22FFN+，(24)122,02,0s.t.A,B,ss TTC CI,D DI,=其中 A，B，C 和 D 是矩阵变量，约束中给出了对矩阵 A 和矩阵 B 的稀疏要求。修贤超等将模型方法和数据驱动方法相结合，设计出高效、快速的方法求解实际问题，其中图 1 为参考文献4中的故障检测流程图。回顾我们对正则稀疏优化模型及算法的综述，主要研数值究的变量是稀疏向量，因此可以将pl和2l混合的思想引入上述模型，构建以稀疏矩阵为研究变量的正则稀疏优化模型，再分析模型的性质，最后设计对应的算法求解。进一步，还可以考虑建立数据驱动下的正则稀疏矩阵优化模型等。事实上，有很多实际问题，如高光谱图像恢复60、三维合成孔径雷达成像(Synthetic Aperture Radar,SAR)61等都可以用低秩矩阵正则稀疏优化模型描述，此外，求解偏微分方程的非线性稀疏深度神经网络62也可以用低秩矩阵正则稀疏优化模型描述，同时pl和2l混合的思想还可以应用到这些模型中，针对不同的模型，可以采用不同的混合方法构造正则项，再结合多种算法思想设计出高效的算法，最后通过数值实验验证模型和算法的有效性、适用性以及鲁棒性。程克林 DOI:10.12677/airr.2023.123018 163 人工智能与机器人研究 Figure 1.Flowchart of fault detection 图图 1.故障检测流程图 4.总结总结 本文回顾了过去 30 年间，正则稀疏优化模型及算法研究的发展过程。正则稀疏优化正则模型中最为关键的就是正则项的选取和构建，从正则项只有一项的 l0正则到 l1正则到 lp正则，再到混合正则项的提出。好的正则项，可以使得正则稀疏优化模型具有好的稀疏解，好的泛化能力，并且可以基于此设计好的算法提高求解效率。最后，结合实际应用中的最新研究成果，我们从工程的损伤识别、齿轮箱复合故障诊断、遥感图像超分辨率重建以及 CFRP 电阻抗层析成像这几个实际问题出发，提出构造新正则稀疏优化模型的新思路，并探讨了进步模型处理和算法设计思路。此外，进一步提出将pl和2l混合的思想拓展到低秩矩阵正则稀疏优化模型。综上，还有很多很有趣且有意义的方向有待学者们一一探索。参考文献参考文献 1 Bruckstein,A.M.,Donoho,D.L.and Elad,M.(2009)From Sparse Solutions of Systems of Equations to Sparse Mod-eling of Signals and Images.SIAM Review,51,34-81.https:/doi.org/10.1137/060657704 2 Duarte,M.F.,Davenport,M.A.,Takhar,D.,et al.(2008)Single-Pixel Imaging via Compressive Sampling.IEEE Sig-nal Processing Magazine,25,83-91.https:/doi.org/10.1109/MSP.2007.914730 3 Wang,Y.,Zhou,G.L.,Zhang,X.,Liu,W.and Caccetta,L.(2016)The Non-Convex Sparse Problem with Nonnegative Constraint for Signal Reconstruction.Journal of Optimization Theory and Applications,170,1009-1025.https:/doi.org/10.1007/s10957-016-0869-2 4 Xiu,X.C.,Pan,L.L.,Yang,Y.and Liu,W.(2022)Efficient and Fast Joint Sparse Constrained Canonical Correlation Analysis for Fault Detection.IEEE Transactions on Neural Networks and Learning Systems,1-11.https:/doi.org/10.1109/TNNLS.2022.3201881 5 Donoho,D.L.(2006)Compressed Sensing.IEEE Transactions on Information Theory,52,1289-1306.https:/doi.org/10.1109/TIT.2006.871582 6 Luo,Z.Y.,Qin,L.X.,Kong,L.C.and Xiu,N.H.(2014)The Nonnegative Zero-Norm Minimization under Generalized Z-Matrix Measurement.Journal of Optimization Theory and Applications,160,854-864.https:/doi.org/10.1007/s10957-013-0325-5 7 Merhej,D.,Diab,C.,Khalil,M.and Prost,R.(2011)Embedding Prior Knowledge within Compressed Sensing by Neural Networks.IEEE Transactions on Neural Networks,22,1638-1649.https:/doi.org/10.1109/TNN.2011.2164810 8 Hastie,T.,Tibshirani,R.and Wainwright,M.(2015)Statistical Learning with Sparsity:The Lasso and Generalizations.Chapman&Hall/CRC,New York.https:/doi.org/10.1201/b18401 程克林 DOI:10.12677/airr.2023.123018 164 人工智能与机器人研究 9 Torfifi,A.,Shirvani,R.A.,Soleymani,S.and Nasrabadi,N.M.(2018)Attention-Based Guided Structured Sparsity of Deep Neural Networks.ArXiv Preprint ArXiv:1802.09902.10 Zhang,D.,Katz-Samuels,J.,Figueiredo,M.A.T.and Balzano,L.(2018)Simultaneous Sparsity and Parameter Tying for Deep Learning using Ordered Weighted l1 Regularization.2018 IEEE Statistical Signal Processing Workshop(SSP),Freiburg im Breisgau,10-13 June 2018,65-69.https:/doi.org/10.1109/SSP.2018.8450819 11 Mallat,S.and Zhang,Z.(1993)Matching Pursuit with Time-Frequency Dictionaries.IEEE Transactions on Signal Processing,41,3397-3415.https:/doi.org/10.1109/78.258082 12 Blumensath,T.and Davies,M.E.(2008)Iterative Thresholding for Sparse Approximations.Journal of Fourier Analy-sis and Applications,14,629-654.https:/doi.org/10.1007/s00041-008-9035-z 13 Herrity,K.K.,Gilbert,A.C.and Tropp,J.A.(2006)Sparse Approximation via Iterative Thresholding.2006 IEEE In-ternational Conference on Acoustics Speech and Signal Processing Proceedings,3,Toulouse,France.14 Natraajan,B.K.(1995)Sparse Approximate Solutions to Linear Systems.SIAM Journal on Computing,24,227-234.https:/doi.org/10.1137/S0097539792240406 15 Chen,X.J.,Ge,D.D.,Wang,Z.Z.and Ye,Y.Y.(2014)Complexity of Unconstrained L2-Lp Minimization.Mathemati-cal Programming,143,371-383.https:/doi.org/10.1007/s10107-012-0613-0 16 Frank,I.E.and Freidman,J.H.(1993)A Statistical View of Some Chemometrics Regression Tools.Technometrics,35,109-135.https:/doi.org/10.1080/00401706.1993.10485033 17 Tropp,J.A.(2004)Greed Is Good:Algorithmic Results for Sparse Approximation.IEEE Transactions on Information Theory,50,2231-2242.https:/doi.org/10.1109/TIT.2004.834793 18 Bredies,K.and Lorenz,D.A.(2009)Iterated Hard Shrinkage for Minimization Problems with Sparsity Constraints.SIAM Journal on Scientific Computing,30,657-683.https:/doi.org/10.1137/060663556 19 Chen,S.S.,Donoho,D.L.and Saunders,M.A.(1998)Atomic Decomposition by Basis Pursuit.SIAM Journal on Scientific Computing,20,33-61.https:/doi.org/10.1137/S1064827596304010 20 Cands,E.J.(2008)The Restricted Isometry Property and Its Implications for Compressed Sensing.Comptes Rendus Mathematique,346,589-592.https:/doi.org/10.1016/j.crma.2008.03.014 21 Donoho,D.L.(1995)De-Noising by Soft-Thresholding.IEEE Transactions on Information Theory,41,613-627.https:/doi.org/10.1109/18.382009 22 Chambolle,A.,DeVore,R.A.,Lee,N.-Y.and Lucier,B.J.(1998)Nonlinear Wavelet Image Processing:Variational Problems,Compression,and Noise Removal Through Wavelet Shrinkage.IEEE Transactions on Image Processing,7,319-335.https:/doi.org/10.1109/83.661182 23 Figueiredo,M.A.T.and Nowak,R.D.(2003)An EM Algorithm for Wavelet-Based Image Restoration.IEEE Transac-tions on Image Processing,12,906-916.https:/doi.org/10.1109/TIP.2003.814255 24 Daubechies,I.,Defrise,M.and Mol,C.D.(2004)An Iterative Thresholding Algorithm for Linear Inverse Problems with a Sparsity Constraint.Communications on Pure and Applied Mathematics,57,1413-1457.https:/doi.org/10.1002/cpa.20042 25 Vonesch,C.and Unser,M.(2007)Fast Iterative Thresholding Algorithm for Wavelet-Regularized Deconvolution.In:Van De Ville,D.,Goyal,V.K.and Papadakis,M.,Eds.,Proceedings of the SPIE Optics and Photonics 2007 Confe-rence on Mathematical Methods:Wavelet XII,Vol.6701,SPIE,Bellingham,135-139.https:/doi.org/10.1117/12.733532 26 Kim,S.-J.,Koh,K.,Lustig,M.,Boyd,S.and Gorinevsky,D.(2007)An Interior-Point Method for Large-Scale l1-Regularized Least Squares.IEEE Journal of Selected Topics in Signal Processing,1,606-617.https:/doi.org/10.1109/JSTSP.2007.910971 27 Osborne,M.R.,Presnell,B.and Turlach,B.