分布式网络的多任务扩散算法综述.pdf

文章编号：1003-0530（2023）11-1901-18第 39 卷 第 11 期2023 年11 月信号处理Journal of Signal ProcessingVol.39 No.11Nov.2023分布式网络的多任务扩散算法综述靳丹琦1 陈捷2 陈景东2（1.武汉大学电子信息学院，湖北武汉 430072；2.西北工业大学航海学院智能声学与临境通信研究中心，陕西西安 710072）摘 要：在分布式网络中，如何从带噪的实时数据流中估计潜在的模型参数是一个非常重要而极具挑战的问题。应对该问题的一种有效途径是设计扩散算法，通过网络局部信息交换和自组织协同方式来估计网络中所有节点的模型参数。相关方面早期的研究主要关注的是单任务问题，即所有节点估计同一个模型参数。但实际应用中不同节点往往需要应对不同的估计任务，同时多个待估计的模型参数又可能具备一定的关联性，所以近年来人们将研究重点聚焦到了多任务问题，包括多任务关系建模以及参数优化问题的设计与求解等，并取得了一些重要进展。本文对分布式网络中多任务问题的建模以及当前常用的多任务扩散算法进行简要综述，内容涵盖无监督类型的扩散算法和有监督类型的扩散算法等。具体而言，针对使用无监督方式设计多任务扩散算法，介绍了静态组合矩阵的选取、自适应组合矩阵的设计、两个组合矩阵的组合结构，并简单讨论了三者的适用场景。针对使用有监督方式设计多任务扩散算法，讨论了基于梯度投影法和正则化架构的两种设计方式，并借助文献中的一些典型算法对这些设计方式进行说明。论文侧重于算法原理、算法架构和求解思路等方面的探讨，具体的算法实现细节感兴趣的读者可以参考相应的文献。关键词：分布式参数估计；自适应滤波；扩散算法；多任务；无监督算法；有监督算法中图分类号：TN912.3 文献标识码：A DOI：10.16798/j.issn.1003-0530.2023.11.001引用格式：靳丹琦，陈捷，陈景东.分布式网络的多任务扩散算法综述 J.信号处理，2023，39（11）：1901-1918.DOI：10.16798/j.issn.1003-0530.2023.11.001.Reference format：JIN Danqi，CHEN Jie，CHEN Jingdong.A review of multitask diffusion strategies in distributed networks J.Journal of Signal Processing，2023，39（11）：1901-1918.DOI:10.16798/j.issn.1003-0530.2023.11.001.A Review of Multitask Diffusion Strategies in Distributed NetworksJIN Danqi1 CHEN Jie2 CHEN Jingdong2（1.School of Electronic Information，Wuhan University，Wuhan，Hubei 430072，China；2.Centre of Intelligent Acoustics and Immersive Communications，School of Marine Science and Technology，Northwestern Polytechnical University，Xi an，Shaanxi 710072，China）Abstract:In a distributed network，it is important yet challenging to estimate model parameters from noisy streaming data.To cope with this problem，diffusion strategies have been intensively studied over the past decade，which attempt to estimate the model parameters cooperatively by authorizing a local exchange of data within neighboring nodes in a self-organized manner.Within the literature of diffusion strategies，the earliest such effort can trace back to the so-called single-task problem，in which all the nodes in a distributed network estimate the same parameter.In real applications，however，different nodes may have to estimate different but related parameters.By taking these relations into consideration，the more general and flexible multitask problem has been proposed recently.The keys to solving multitask problems 收稿日期：2023-06-02；修回日期：2023-09-11基金项目：自然科学基金重大项目（62192710）及其课题（62192713）；自然科学基金面上项目（62171380）；陕西省科技计划重点产业创新链（群）（2022ZDLGY01-02）；西安市科技产业化计划（XA2020-RGZNTJ-0076）；武汉大学“卓越博士后”计划等的资助信号处理第 39 卷include a proper modelling and formulation of the real problem，as well as designing effective diffusion strategies to achieve a useful solution.Over the recent years，a great amount of multitask diffusion strategies have been proposed.In this paper，we discuss the basic principles underlying those multitask diffusion strategies，covering the topics of both the unsupervised learning and the supervised learning，which are two dominant routines of designing multitask diffusion strategies.Specifically，on the one hand，for multitask diffusion strategies based on the unsupervised learning，we introduce some details on the selection of both static combination matrices and adaptive combination matrices，along with a novel combination scheme for two combination matrices.The differences among them are further highlighted，so as to make them clear for the interested reader.On the other hand，for multitask diffusion strategies based on the supervised learning，the so-called projected gradient descent method and several regularization based algorithms have been discussed，as well as several typical references about these algorithms are introduced.In addition，to make the above algorithms to be clear，several examples are given at the end of each algorithm.This paper mainly focus on the principles and structures of each algorithm，and due to space limit，we will not present much detail on the derivation of every individual algorithm.The interested reader is therefore encouraged to follow the respective references listed in the paper.Key words:parameter estimation；adaptive filtering；diffusion strategy；multitask；unsupervised learning；supervised learning1引言经典自适应信号处理算法是一类从实时数据流中估计参数的算法，它通过对实时数据流进行自学习来适应或跟踪模型参数的变化，从而逼近一定准则下最优滤波器估计模型参数的性能。在过去的六十余年里，经典自适应信号处理算法逐渐发展成熟，它被成功应用于通信1、控制2、雷达3、声呐4、地震5、生物医学6等领域。近二十年来，移动通信终端7、边缘计算设备8、云计算平台9等应用产生了对多个交互设备协同处理的需求。为了方便建模和处理，学者们引入了“网络”的概念，设计了网络中自适应信号处理算法10-11。网络是由若干节点以及连接这些节点的链路组成的整体10-12。例如，移动通信终端和通信链路构成了移动通信网络。针对网络中自适应信号处理问题，学者们最早提出了集中式处理模式，即由选定的中心节点收集网络中所有节点的数据进行处理，并在处理完毕后将结果传回各个节点。虽然集中式处理能更充分地利用整个网络的数据，但是也存在一些明显的弊端，包括11：（1）隐私性差。在一些场景中将其他节点的数据共享给中心节点会造成节点信息泄露，不利于节点的隐私保护。（2）鲁棒性差。若中心节点发生故障，则会导致整个网络崩溃。（3）可扩展性弱。对分散存储在不同空间位置的数据，受到通信距离、节点通信能力、通信时延的限制，无法将数据汇集到中心节点处理。对一些不适合进行集中式处理的场景，学者们提出了“分布式处理”模式：在一定的关联感知区域内，节点与邻近节点通过局部的信息交换和自组织的协同方式来逼近或者达到集中式处理的性能。在分布式处理模式中，通过定义节点以及节点之间的相互连接关系，分布式网络能够对一些系统进行刻画和建模，包括电子电气工程领域中的传感器网络、分布式天线阵列、智能电网以及智能机器人群体等，这些都属于人工网络；也包括自然界中的鱼群、鸟群、蜂群等，它们都是生物集群网络。因而，研究分布式网络和分布式处理模式能够涵盖一些实际问题。在这些问题中，分布式网络通常需要处理具有时变特性的数据流，例如传感器网络需要感知并跟踪信道的变化、鱼群需要动态地确定饵料位置等。这要求分布式网络能够在每一时刻对目标参数进行重新估计，从而适应目标参数的变化。为了赋予分布式网络这样的能力，学者们深入研究了网络中分布式自适应信号处理。如表1所示，根据节点间信息流动的方式，将分布式网络中主流的自适应信号处理算法分成三类：增量算法13-14、一致式算法15-16、扩散算法17-18。增量算法通过在网络中形成一个哈密尔顿环路19并依次访问环路中各节点实现信息交互与融合。而在一致式算法和扩散算法中，每个节点都与所有邻居节点进行信息交换，进而实现对网络各节点模型参数的协同估计。1902第 11 期靳丹琦 等：分布式网络的多任务扩散算法综述因为在任意网络中构建哈密尔顿环路是NP-难题，并且构建的哈密尔顿环路对节点和链路的失效都非常敏感，所以增量算法并不完全适用于分布式网络中自适应信号处理。而在作为候选的扩散算法和一致式算法中，扩散算法比一致式算法具有更优良的稳定性和更宽广的动态范围20，所以扩散算法是分布式自适应信号处理的重点研究算法，同时也是本文的研究关注点。2扩散算法的起源与发展扩散算法的起源可以追溯到2007年。为了解决“分布式自适应网络中的节点如何通过协作方式估计同一个模型参数”的问题，2007年美国加州大学洛杉矶分校的Sayed教授和他的学生Lopes在文献 21 中提出了扩散算法。文献 21 中各节点模型参数的关系可以抽象成图1（a）。因为网络中所有节点协作估计同一个模型参数w，所以称这类扩散算法为“单任务扩散算法”。如表2所示，在早期的单任务分布式扩散算法研究中，学者们求解某一特定类型的数据模型或代价函数，得到了不同类型的扩散算法。因为扩散LMS类型算法研究了最简单、最普遍的线性模型和均方误差代价函数，所以它最具有代表性。学者们随后对扩散LMS类型算法进行了深入研究，典型的研究工作介绍如下：（1）关于对实际场景建模和算法设计。研究了不完美的信息交换、量化误差、通信时延等因素对扩散LMS算法性能的影响22-24；通过求解优化问题为扩散LMS算法设计了自适应组合矩阵25-26；研究了异质网络中的扩散LMS 算法27；将模型参数的稀疏性考虑在内，利用次梯度（Subgradient）或近端算子（Proximal Operator）设计稀疏扩散LMS算法28-29；为了保证各节点性能不差于非协作情形，设计了具有一致性的扩散LMS算法30；设计了频域扩散LMS算法31等。上述工作侧重于研究不同的实际问题场景，并针对这些场景设计扩散算法。（2）关于算法理论性能分析。从不同角度研究了使用独立同分布的不相关输入时扩散LMS算法的性能10，17、使用相关性输入时扩散LMS算法的性能32-33；从理论和实验两方面分析比较了扩散算法和一致式算法的性能，证明了扩散算法比一致式算法更稳定20等。（3）关于扩散算法的参数设置。利用启发式思表1增量算法、一致式算法和扩散算法的比较Tab.1A comparison of incremental strategy，consensus strategy and diffusion strategy算法类型增量算法一致式算法扩散算法是否构造哈密尔顿环路是否否通信量小大大协作程度低高高对链路鲁棒性低高高稳定性/差好图1三种典型的分布式网络示意图（摘录自文献 41）.（a）单任务网络；（b）多任务网络；（c）分簇多任务网络Fig.1Three typical distributed networks（extracted from reference 41）.（a）Single task network；（b）Multitask network；（c）Clustered multitask network1903信号处理第 39 卷想或优化架构针对标准扩散LMS算法设计变步长算法34-35等。（4）关于算法拓展和应用。研究了扩散LMS算法在目标定位与跟踪36、模拟鸟群和蜂群飞行行为37-38、模拟鱼群捕食行为39、认知无线电网络40等场景中的应用。随着研究工作的深入，学者们在后续工作中围绕具有一般性的代价函数展开研究。相关研究工作主要集中在“关于对实际场景建模和算法设计”和“关于算法理论性能分析”两方面1，包括：求解强凸、可微代价函数的扩散算法11，18；求解强凸、不可微代价函数的扩散算法53-55；求解非凸代价函数的扩散算法56-58；研究了单任务网络中的多目标优化问题，证明了使用固定步长时网络中所有节点的估计结果会收敛到同一个Pareto最优解59；研究了节点间通信不同步、网络拓扑变化、链路失败等因素对扩散算法性能的影响60等。在实际场景中，分布式网络的每一个节点往往需要估计与其他节点不同、但又有一定内在关联的模型参数。为了刻画这些场景，2013 年笔者在文献 61 中首次将多任务模型引入到分布式扩散网络中，设计了“多任务扩散算法”，极大地丰富了扩散式自适应信号处理的内涵。在多任务扩散算法中，节点同时估计多个不完全相同但具有一定关联性的模型参数，并利用模型参数的关联性来进一步提高节点自身的估计精度。多任务模型赋予了扩散算法更多的自由度对实际问题进行抽象和建模。在一些实际应用中，使用多任务扩散算法能得到比单任务扩散算法更好的效果。图2给出了多任务扩散算法在模拟和分析自然界生物群体行为中的应用示例。自然界中诸如鱼群、蜂群等生物群体存在一些群体协同行为，例如图2中鱼群协作觅食。因为鱼群的协作觅食是一种自组织行为，所以用分布式网络和扩散算法来建模分析是最合适的；此外，鱼群中不同个体往往需要捕食不同的食物源，而多个食物源相对于鱼群中不同个体又具有相似的方向向量，因而用多任务扩散算法来模拟分析鱼群行为是最准确的。多任务扩散算法也被应用于扬声器阵列的主动噪声控制62-64、帕金森疾病诊断65、视频监控网络的多目标定位跟踪66等场景中。图3给出了多任务扩散算法在扬声器阵列主动噪声控制中的应用示例62，64。在主动噪声控制中，扬声器阵列作为次级声源实时产生驱动信号，从而抵消声场中的噪声源。为了分摊扬声器阵列（声学传感器网络）的计算量从而保证主动噪声控制的实时性，更有效的方式是使用分布式扩散算法来设计各个节点2的驱动信号。同时，由于不同节点上误差麦克风处噪声信号具有差异性，各节点需要利用多任务扩1在分布式网络多任务扩散算法的研究中，针对某一个实际场景设计新算法后，通常也会对该算法进行理论性能分析。因此“关于对实际场景建模和算法设计”和“关于算法理论性能分析”两个方面的研究工作存在很多的耦合，为了避免重复，此处对二者合并进行介绍。2在图3给出的扬声器阵列网络中，每个节点包含一个扬声器、一个麦克风以及具有通信和计算能力的处理单元。图2多任务扩散算法的应用示例模型鱼群协同行为Fig.2An example of multitask diffusion strategies in modeling coordinated behavior of fish schooling表2不同类型的数据模型或代价函数对应的扩散算法Tab.2A summary of several diffusion strategies，corresponding to different data models and cost functions模型类型线性模型非线性模型代价函数或数据模型均方误差代价函数最小二乘代价函数误差熵线性组合状态空间模型均方误差代价函数扩散算法扩散LMS类型算法42扩散仿射投影算法43-44扩散递归最小二乘算法45-47扩散信息论学习算法48分布式扩散卡尔曼算法49-50非线性扩散算法51核扩散算法521904第 11 期靳丹琦 等：分布式网络的多任务扩散算法综述散算法生成特定的驱动信号进行噪声抵消。自提出至今的十余年里，多任务扩散算法被学者们广泛研究67-78，大体上可分为无监督类型的多任务扩散算法和有监督类型的多任务扩散算法。鉴于多任务扩散算法的重要性，本文聚焦于讨论多任务扩散算法，重点论述基本的多任务信号模型、多任务问题的构造方法、多任务扩散算法的设计思路，旨在为领域的研发人员提供一些基础知识，启发更多的兴趣，从而设计更好的算法。3图模型和信号模型先对本文的一部分基本符号使用规则进行介绍。未加粗的斜体字母表示标量，如x，X。小写加粗的黑体字母表示向量，如x。若无特殊说明，本文中出现的向量默认是列向量。大写加粗的黑体字母表示矩阵，如X。其余符号的含义将在文中进行说明。3.1图模型本小节对用于描述分布式网络结构的图模型10-11，17进行简单介绍，它是分布式网络中数据模型和算法设计的基础。定义1（图、节点和边）通常用由N个端点（即节点）和一系列连接端点的边构成的图来表示大小为N的网络。将连接端点和它自身的边称为自环。同一条边所连接的两个端点互为邻居节点。定义1中的图是无向图，即如果节点k是节点的邻居节点，那么节点同样是节点k的邻居节点。互为邻居节点的两个节点可以通过连接它们的边交换信息。为了丰富图模型的建模能力，对图的每条边都引入了一对非负权值。具体而言，对连接节点k和节点的边引入非负权值对 ak，ak，权值ak的两个下标表示信息流动的方向：第一个下标表示信息流动的起点，第二个下标k表示信息流动的终点。权值ak被节点k用来加权它从节点接收到的数据，可以把这种加权理解成节点k对它与节点的交互置信度的度量。类似地，权值ak被节点用来加权它从节点k接收到的数据。允许对权值ak和ak取不同的值，并且其中一个或者二者都可以取零值，这意味着节点之间的信息流不一定是对称的。将表征网络结构并且对边分配了非负权值对 ak，ak的图称为加权图。本文所考虑的图均为加权图。图4给出了一个示例，来对加权图和定义1加以说明。为了强调，在图4中分别用两条带有相反方向箭头的线段来表示连接节点的边。在本文后续部分的网络拓扑图中，将使用不带箭头的单一线段来替代这两条带有相反方向箭头的线段。这两种线段具有相同的含义。定义2（加权图上节点的邻域）加权图上任意节点k的邻域是集合Nk，它是所有通过边与节点k图4图模型示意图（摘录自文献 11）Fig.4An illustration of a graph model（extracted from reference 11）图3多任务扩散算法的应用示例扬声器阵列主动噪声控制（摘录自文献 64）Fig.3An example of multitask diffusion strategies in active noise control of loudspeaker arrays（extracted from reference 64）1905信号处理第 39 卷直接相连的节点的集合，也包括了节点k自身。集合Nk的势用符号|Nk|表示，它是集合Nk所包含的元素总数。在加权图上，任意两个节点k和具备通过连接它们的边进行信息交换的能力，然而信息交换发生与否以及它是单向的还是双向的，取决于分配给边的权值对 ak，ak。如图5所示，为了便于描述，将包含N个节点的加权图的所有权值ak按如下规则写成一个N N的矩阵A：矩阵A的第k列元素是节点k用来对从它的邻居节点 Nk接收到的数据进行加权的权值。换而言之，对 Nk，矩阵A的第行、第k列元素是权值ak，它被节点k用来加权它从节点接收到的数据。如果 Nk，那么设置ak=0。对按照上述规则构造的矩阵A，有 Ak=ak，下标索引符号k用于索引矩阵的第行、第k列元素。将矩阵A称为组合矩阵或组合规则。3.2信号模型考虑由N个节点组成的连通网络，每个节点k需要估计长度为L 1的模型参数wk。在n时刻，节点k观测到数据对 dk，n，xk，n，dk，n是参考信号，xk，n是维度为L 1的输入信号。节点k的数据由线性模型（1）关联，即：dk，n=xk，nwk+zk，n（1）其中zk，n是噪声信号，它与其他信号统计独立。分布式网络中自适应信号处理需要考虑节点协作，这要对网络中所有节点模型参数wk的关系进行建模。在单任务网络中，所有节点估计相同的模型参数18，即w1=w2=wN；在多任务网络中，各节点估计不同但具有关联性的模型参数，并利用不同节点上模型参数的关联性来提高分布式网络的整体估计性能41，67。图1（b）和图1（c）分别画出了具有一般性的多任务网络和分簇多任务网络中各节点模型参数的关系。在图1（b）中，所有节点k求解不同但具有某种内在关联性的模型参数wk。在图1（c）中，属于同一个簇Ci的节点求解相同的模型参数wCi，例如节点1，2，3，4属于第1个簇C1，它们求解相同的模型参数wC1；而属于不同簇的节点求解的模型参数具有一定的相似性。研究多任务分布式扩散算法的关键是对不同的多任务关系建模并设计算法求解，通常有两类建模求解方式3：（1）第一类是无监督方式。它不要求预先已知网络各节点模型参数的关联方式，通过利用各节点模型参数的潜在相似性设计组合矩阵来求解多任务问题。（2）第二类是有监督方式。它要求已知网络各节点模型参数的关联方式（即多任务模型），针对具体的多任务模型设计投影矩阵或者基于正则化架构设计合适的正则函数来求解多任务问题。构建合适的多任务模型是使用有监督方式进行算法设计的前提。本文第4节主要介绍利用无监督方式设计扩散3这两种建模方式对应于求解多任务扩散网络中参数估计问题的两种思路。图 5加权图和相应的组合矩阵示意图（摘录自文献 11）Fig.5An illustration of a weighted graph and a combination matrix（extracted from reference 11）1906第 11 期靳丹琦 等：分布式网络的多任务扩散算法综述算法，第5节介绍现有的多任务模型构建途径，以及如何利用有监督方式设计扩散算法。4无监督类型的多任务扩散算法本节以最典型的扩散 LMS 算法11，67为例来介绍如何利用无监督方式设计多任务扩散算法。如图6所示，在分布式网络中，为了估计模型参数wk，文献 67 研究了下述优化问题：minwJglobal(w)k=1NJk(w)（2）其中节点k的均方误差代价函数Jk(w)定义为：Jk(w)E Qk，n(w)（3）Qk，n(w)|dk，n-xk，nw22（4）符号E 表示数学期望。文献 67 设计的扩散LMS算法为：k，n+1=wk，n+kxk，n(dk，n-xk，nwk，n)（5）wk，n+1=Nkak，n+1（6）其中k，n+1是中间变量，wk，n+1是模型参数wk的估计，正值参数k是节点k的步长。在式（5）式（6）中，下标字母k和专门用作节点索引，下标字母n专门用作时间索引。非负加权系数ak是左随机矩阵A的第行、第k列元素，即：Ak=ak（7）矩阵A即为加权图的组合矩阵，它满足下述关系式：ak 0，A1N=1N，当 Nk时：ak=0（8）式（8）中符号1N表示长度为N、分量全为1的列向量。利用无监督方式和扩散LMS算法式（5）式（6）求解多任务问题的关键是设计组合矩阵A。通过设计合适的组合矩阵，能够进一步提升多任务网络的参数估计性能。文献中有三种设计组合矩阵的方法：静态组合矩阵、自适应组合矩阵、两个组合矩阵的组合结构，本节将分别对这三种设计方法进行介绍。4.1静态组合矩阵静态组合矩阵是一类不随迭代过程变化的组合矩阵。通常它们仅与网络拓扑结构有关，一旦网络拓扑结构给定，静态组合矩阵便固定下来。表3列出了一些常用的静态组合矩阵。在表3中，符号nk|Nk|表示节点k的势，是一个正值参数，矩阵L是网络的拉普拉斯矩阵，它的第行、第k列元素Lk定义为：Lk=-1，如果 k 并且 Nkn-1，如果 k=0，其他情况 （9）静态组合矩阵具有形式简单、物理意义明确的优点。需要注意的是，因为静态组合矩阵仅与网络拓扑结构有关，并且在设计过程中未考虑网络各节点的多任务关系，所以在使用多任务扩散算法时要谨慎选择静态组合矩阵。若选择不当，则可能适得其反。图6分布式网络示意图（摘录自文献 11）Fig.6An illustration of a distributed network（extracted from reference 11）表3一些常用的静态组合矩阵Tab.3Several static combination matrices组合矩阵名称平均规则拉普拉斯规则最大度规则Metropolis规则相对度规则组合矩阵A的元素 Ak=akak=1/nk 如果 Nk0 其他情况 ak=1-Lk,0ak=1/N 如果 Nk 并且 k1-nk-1N如果 k=0 其他情况ak=1max nk,n 如果 Nk 并且 k1-m Nk kamk如果 k=0 其他情况ak=n(m Nknm)-1如果 Nk0 其他情况1907信号处理第 39 卷4.2自适应组合矩阵自适应组合矩阵是一类会随迭代过程改变的组合矩阵。通常它们不仅与网络拓扑结构有关，还与网络各节点信号特性有关。自适应组合矩阵是通过求解优化问题得到的。因为自适应组合矩阵的设计过程考虑了网络各节点的噪声特性，所以在一些场景中它比静态组合矩阵效果更好。典型的自适应组合矩阵包括文献67-69，例 1 将以文献 67 为例进行介绍。例1（适用于多任务网络的自适应组合矩阵 67）文献 67 设计了一种适用于多任务网络的自适应组合矩阵，它在多任务的假设下通过最小化整个网络的稳态均方偏差求解自适应组合矩阵。由式（5）式（6）可知，在n+1时刻，可将节点k的均方偏差写成：MSDk，n+1 Ewk-wk，n+12（10）=E wk-Nkak，n+12 （11）其中组合系数ak满足约束式（8）。利用式（8），可将式（11）写成：MSDk，n+1=E Nkak(wk-，n+1)2 （12）为了简单起见，对式（12）引入下述近似：（1）省略式（12）中的交叉项，而只保留平方项；（2）用瞬时值来代替期望值，即去掉期望符号E；（3）在n+1时刻，用估计值w k，n+1来近似最优值w k，即：w k，n+1=k，n+1+kxk，n(dk，n-k，n+1xk，n)（13）其中k 0是步长参数。利用上述近似，得到节点k在n+1时刻的均方偏差近似表达式：MSDk，n+1=Nka2kw k，n+1-，n+12（14）基于表达式（14），文献 67 通过最小化下述优化问题来求解系数ak，即：minakN=1 Nka2kw k，n+1-，n+12，k=1，2，Ns.t.ak 0，=1Nak=1，若 Nk 则 ak=0（15）可以得到优化问题式（15）的解：ak(n+1)=w k，n+1-，n+1-2j Nkw k，n+1-j，n+1-2（16）其中 Nk，符号ak(n+1)表示ak在n+1时刻的值。将式（13）代入式（16），即可得到适用于多任务网络的自适应组合矩阵。4.3两个组合矩阵的组合结构单个组合矩阵具有自身的局限性。通常无法找到一个能够适用于所有场景的组合矩阵。为了解决这一问题，文献 70-71 设计了两个乃至多个组合矩阵的组合结构：先并行使用多个具有差异性和互补性的候选组合矩阵，再设计算法动态地从中选择性能最好的一个。因为两个组合矩阵的组合结构最具有代表性，所以本文以两个组合矩阵为例进行说明。如图7所示，扩散算法层包含两个并行运行的候选扩散算法S(i)，i=1，2，并且算法S(i)使用了组合矩图7两个组合矩阵的组合结构示意图Fig.7An illustration of a combination scheme for two combination matrices1908第 11 期靳丹琦 等：分布式网络的多任务扩散算法综述阵A(i)。在候选扩散算法S(i)中，节点k利用输入信号xk，n、参考信号dk，n和组合矩阵A(i)得到模型参数w k的估计值w(i)k，n。在n时刻，对任意节点k，组合层分别对权值估计w(1)k，n和w(2)k，n分配组合系数k，n和1-k，n，并利用组合系数k，n来得到更好的估计量wk，n，即：wk，n k，nw(1)k，n+(1-k，n)w(2)k，n（17）式（17）通过对权值估计w(1)k，n和w(2)k，n进行组合，达到了对两个组合矩阵A(1)和A(2)加权组合的目的。组合结构的关键是调整组合系数k，n。表4列出了两种调整组合系数k，n的算法：仿射能量归一化算法70、凸能量归一化算法71。利用组合结构能得到优于使用单一组合矩阵的效果，丰富了无监督类型多任务扩散算法的内涵。5有监督类型的多任务扩散算法求解多任务网络中参数估计问题的另一种有效方式是设计有监督类型的多任务扩散算法。在有监督类型的多任务扩散算法中，为了利用网络的多任务关系来提升参数估计性能，整个网络最小化全局代价函数：min Jglobal(w1，w2，wN)k=1NJk(wk)s.t.w （18）其中Jk(wk)由式（3）所定义，向量w 由下式定义：w w1 w2wN（19）集合用于约束网络的多任务关系。为了方便起见，在不引起歧义的前提下，也将全局代价函数Jglobal(w1，w2，wN)等价地写成Jglobal(w)。构建合适的多任务模型（即等价地设计集合）是使用有监督方式进行算法设计的前提。现有多任务模型通常是基于实际问题的物理特性并借助数学模型抽象得到的，针对不同实际问题得到的多任务模型差别迥异。表5对文献中一些典型的多任务模型和对应的实际应用进行了总结。求解优化问题式（18）的一个难点是保证解空间满足约束w 。本节给出求解优化问题式（18）的两种典型方式：投影梯度法、正则化架构。5.1方式一：投影梯度法求解优化问题式（18）的一种直接思路是使用梯度投影法83。对式（18）使用梯度投影法，并用随机梯度来近似真实梯度，得到：w n+1=P(w n-colkwkQk，n(wk，n)Nk=1)（20）其中符号P()表示向集合投影，w nw1，n w2，n 表4两种调整组合系数k，n的算法Tab.4Two algorithms for adjusting the combination coefficients算法仿射能量归一化算法凸能量归一化算法组合系数k,n的迭代表达式k,n=k,n+1+k+pk,n(dk,n-yk,n)xk,n(w(1)k,n-w(2)k,n)其中：yk,n=xk,n k,n-1w(1)k,n+(1-k,n-1)w(1)k,npk,n=pk,n-1+(1-)xk,n(w(1)k,n-w(2)k,n)20 0k,n-1=k,n-1(1-k,n-1)，ek,n=dk,n-yk,nyk,n=xk,n k,n-1w(1)k,n+(1-k,n-1)w(2)k,npk,n=pk,n-1+(1-)xk,n(w(1)k,n-w(2)k,n)20 0是局部单步近似中的步长参数。用从式（33）得到的w，n+12来近似式（32）中的w，得到：wk，n+1=wk，n-kwkQk，n(wk，n)-kFk(k，gk(wk，n，w，n+12)，wk，n，w，n+12)（34）需 要 注 意 的 是，此 时 式（34）中 泛 函Fk()k，gk()wk，n，w，n+12，wk，n，w，n+12与k、wk，n、w，n+12、gk(wk，n，w，n+12)有关。在正则化架构中，求解多任务参数估计问题的关键是求解泛函Fk()。因为对可微正则函数和不可微正则函数g(w1，w2，wN)，泛函Fk()的求解方法不同，所以本节对二者分别进行论述。5.2.1可微正则函数的情形当式（30）中的正则函数g(w1，w2，wN)是可微正则函数时，式（34）中Fk()退化成：Fk()=kwkgk(wk，n，w，n+12)（35）即直接计算可微正则函数的导数。将式（35）代入式（34），得到：wk，n+1=wk，n-kwkQk，n(wk，n)-kkwkgk(wk，n，w，n+12)（36）式（36）给出了基于正则化架构求解可微正则函数的迭代表达式。例3将以分簇多任务网络的参数估计问题为例对该求解思路进行说明。例 3（分簇多任务网络的参数估计41）文献41 通过引入可微正则函数研究了分簇多任务网络的参数估计问题。图1（c）给出了一个分簇多任务网络的示意图。在图1（c）的分簇多任务