资源描述
Click to edit Master title style,Click to edit Master text styles,Second Level,Third Level,Fourth Level,Fifth Level,*,*,*,盲信源分离方法研究,楼 顺 天,学科前沿系列讲座,2026/11/15,问题形成,信号源确定,信源数动态变化,模糊技术应用,盲信源分离方法研究,2026/11/15,问题形成,2026/11/15,鸡尾酒会问题,2026/11/15,雷达目标分辨问题,2026/11/15,信号混合问题,2026/11/15,n,个信号源,用,m,个传感器收集数据(,m=n)。,混合模型可表示成,盲信源分离的任务是在没有混合矩阵先验知识的前提下,从混合信号,x(t),中恢复出源信号,s(t)。,问题形成,2026/11/15,信源数确定,2026/11/15,能够利用的信息,信源之间相互独立,2026/11/15,(,1,)信源个数已知;,(,2,)信源个数,n,与输出通道数,l,相等。,但通常情况下,这两种假设并不总是成立的。,BSS,中的两种假定,2026/11/15,采用前向线性神经网络作为线性分离系统,其中 为 的一种估计,为,nm,的分离(去混合)矩阵,自适应,BSS,的关键在于找出 ,使 是信源矢量 的估计。,NN,分离系统,2026/11/15,互信息最小方法是:选择,w(t),使输出分量,y(t),之间的相依性最小。,为测量非高斯输出分量之间的相依性,必须引入输出分量的高阶累积量,也即要考虑输出的某种非线性变换,BSS,要点,2026/11/15,业已证明,29,:使联合熵 最大或使,z(t),的互信息最小,利用自然梯度,可以得到学习规则:,自然梯度学习规则,2026/11/15,其中“。”表示两个矢量的,Hadamard,乘积,的计算,2026/11/15,分别为3阶、4阶累积量,其中 为输出分量累积量更新时的学习速率,累积量自适应估计,2026/11/15,只有当输出个数,l,等于信源个数,n,时,使输出,y(t),各分量的互信息最小,可得到所有的输出分量是独立的;,而当,ln,时,使输出,y(t),各分量的互信息最小,只能使其中的,n,个分量为独立,而剩余的,l-n,个分量将与某些源信号相干。,ICA,分离定理,的修正,2026/11/15,NN,的分离系统在线学习,使输出分量的互信息最小;,检测出相干的输出信号分量;,改变,NN,结构,删除冗余的输出信号分量,重复,在线确定信源数方法,2026/11/15,输出分量的相关系数,2026/11/15,相关系数的在线递推,2026/11/15,在,NN,收敛后,如果两个输出分量的相关系数接近于,1,,则表示它们是相干信号;,如果某个输出分量的相关性测度非常小,则表示它是一个分离的源信号,并且与其它的输出分量几乎独立。,相关性测度定义,2026/11/15,学习速率具有对角形式,不同的输出分量采用不同的学习速率,每个输出分量对应于一个学习速率,即 是输出分量 的学习速率。,可变学习速率的方案,2026/11/15,输出的学习速率与其分离状态有密切关系,如果 足够小,表明输出信号 与其它输出分量不相关;越小,相关性越弱;,选择的方法是:越小,也越小;反之也然。,公式:,学习速率的确定,2026/11/15,Step 1(,初始阶段),取,l=m,。,采用固定学习速率 ,而且 取较大的值。,Step 2:,在若干个样本之后(比如300),采用可变的学习速率:,Step 3:,若所有的相关性测度 都足够小(例如小于0.05),则可以认为源信号已经全部分离,信源数为,l,。,Step 4,:,检测出两个输出分量 ,其相关系数足够大(例如大于0.8),则删除,重复,算法1:在线确定信源数,2026/11/15,当检测出要删除 时,我们使,NN,的输出节点数由,l,个变成,l-1,个,同时应保证其它的输出分量保持不变。为此,在,W,阵中删去第,i,行,在 矩阵中删去,i,行与,i,列,NN,结构的变化,2026/11/15,NN,结构的变化,也类似处理,返回,2026/11/15,仿真1:,未知信源数的确定,仿真研究,2026/11/15,5个信号源,:,仿真1,未知信源数的确定,2026/11/15,源信号,2026/11/15,混合信号,2026/11/15,固定学习速率(方法,1),可变的学习速率对角阵(方法,2),学习速率,2026/11/15,误差指标函数,Cross-talk:,2026/11/15,利用固定学习速率时的未知信源数确定过程,2026/11/15,利用可变学习速率时的未知信源数确定过程,2026/11/15,信源数确定误差指标,2026/11/15,采用自然梯度,ICA,算法的动态神经网络,都可以很好的分离出源信号;,通过,DNN,和在线检测输出分量的相依性测度,可以在线删除分离的信源拷贝,最终实现未知信源数的在线确定。,从误差指标统计结果可以看出,采用可变的学习速率,不仅可以大大加快算法的收敛速度,而且得到的分离结果的性能更佳(在分离稳定阶段,其误差指标的值更低,曲线波动更小),仿真结论,2026/11/15,信源数动态变化,信源数动态减少,信源数动态增加,2026/11/15,在经过信源数的在线确定后,,DNN,趋于平衡,这时,DNN,的输出数,l=n,当某个信号源随机撤销时,,DNN,经过学习,会在输出分量中出现新的冗余拷贝信号,通过类似方法可以检测出相干信号,这时只需删除新出现的拷贝信号。,信源数动态减少,2026/11/15,自相似度,定义,定义信号在两个时间段上的自相似度:,其中,L,为一时间段输出信号 的长度,,T,为时间段的起点,T+L-1,表示时间段终点,表示两时间段之间的距离。,2026/11/15,通过计算两个互为相干信号的自相似度;,与上面类似,删除自相似度小的输出分量;这样就可以适应于信源数随机减少的情况。,删除冗余信号,2026/11/15,Step1:,找出相关系数足够大(比如大于0.8)的输出分量对(,);,Step2:,计算 和 的自相似度,并确定应该删去哪一个输出分量;,Step3,:,删除冗余的输出分量。,算法2:信源数随机减少,2026/11/15,(,1,)通过检测输出分量的相关性测度,可以检测到有新的信源数加入的情况;,(,2,)利用可变的结构分离出新的信源,并且保持对原有信号的分离,。(,目前我们所做的就是重新初始化,、重新学习)见仿真3,信源数动态增加,返回,2026/11/15,仿真2:信源数的随机减少,仿真3:信源数的随机增加,仿真研究,2026/11/15,当,t0.2,秒时,信源数变为,4,个,方波信号随机撤销,。,仿真,2,:信源数的随机减少,仿真2,2026/11/15,恒定学习速率时的信源数随机撤销的分离过程,仿真2,2026/11/15,利用可变学习速率时的信源数随机撤销的分离过程,仿真2,2026/11/15,信源数随机撤销时的误差指标,仿真2,2026/11/15,源信号突然撤销后,相应的输出通道会重新学习,使之成为另一个信号的拷贝;,经过不长时间的学习和改变神经网络的结构,算法可以分离出,4,个源信号,在这一过程中,原来已经分离的信号仍然保持不变,删除的是被撤销的信号通道,这一点应通过自相似度的检测来达到,。,采用可变的学习速率,可以使算法的收敛速度更快,同时可以得到性能更佳的分离结果。,仿真结论,仿真2,2026/11/15,当,t0.2,秒时,信源数变为,5,个,。,仿真,3,:信源数的随机增加,仿真3,2026/11/15,恒定学习速率时的信源数随机增加的分离过程,仿真3,2026/11/15,利用可变学习速率时的信源数随机增加的分离过程,仿真3,2026/11/15,信源数随机增加时的误差指标,仿真3,2026/11/15,算法能够很好地确定出信源数,;,算法容易检测到信号源随机加入的时刻;,通过重新初始化,可以适应于信号源随机加入的情况;,需要研究更好的方法。,仿真结论,仿真3,下一章,2026/11/15,模糊技术应用,模糊推理系统确定,NN,的学习速率,2026/11/15,在基于,NN,的盲信源分离算法中,将模糊系统应用于神经网络学习速率的确定,可以大大加快算法的收敛,并提高信源分离的质量,101,;,详细分析了输出相关性与,NN,学习速率之间的关系,从而构造,NN,学习速率的模糊推理系统;,研究问题,2026/11/15,不同的输出分量需要不同的学习速率;,大的学习速率有利于加快输出分量的分离;,小的学习速率有利于获得更小的稳态失配误差;,在初始阶段,由于输出分量与其它分量之间的相关性大,应采用较大的学习速率;当输出分量已从其它分量中分离出来时,应采用较小的学习速率,从而得到更小的稳态失配误差。,NN,学习速率考虑,2026/11/15,学习速率形式,对应于第,i,个输出分量的学习速率 可通过模糊推理系统(,FIS,),得到,,FIS,的输入为第,i,个输出分量的相关性测度。,2026/11/15,但实际上,,应该采用高阶累积量来表示输出分量之间的相关性。,因此仅用,D(t),来表示相关性是不够的。为此,取一种非线性变换,,比如,相关性测度,2026/11/15,考虑 与 之间的相关系数:,定义 与其它分量之间的高阶相关性测度,高阶相关性测度,2026/11/15,高阶相关测度的计算,2026/11/15,二阶相关测度 与高阶相关测度,一起可以描述输出分量 与其它输出分量之间的相关性。,相关性,2026/11/15,如果 和 都非常小,则称输出分量 与其它输出分量几乎独立,也就是说 已达到了分离的要求;,如果 或 不小,则说明 至少与另一个输出分量相关;,如果 或 较大,则可以认为,与某个输出分量强相关。,相关性与分离状态,2026/11/15,模糊推理子系统,2026/11/15,当 和 均小时,也取小;,当 和/或 中等时,也取中等;,当 和,/,或 大时,也取大,模糊规则说明,2026/11/15,将 、和 模糊化,(分9级):,Small1,、,Small2,、,Small3,、,Middle1,、,Middle2,、,Middle3,、,Big1,、,Big2,、,Big3,模糊化,2026/11/15,模糊隶属度函数,2026/11/15,DF(.),表示反模糊化算子,表示输出隶属度函数的中心,表示第,j,条规则的满足程度,反模糊化,2026/11/15,一共有81条,模糊推理规则,。(第53页),模糊输入输出关系,模糊推理规则,库,返回,2026/11/15,未知信源数的确定,信源数的随机减少,信源数的随机增加,仿真,研究,仿真1,2026/11/15,有,5,个信号源随机混合,101,:,仿真,1,:未知信源数的确定,仿真1,2026/11/15,源信号,仿真1,2026/11/15,混合后的测量信号,仿真1,2026/11/15,采用固定学习速率时的盲信源分离过程,仿真1,2026/11/15,采用模糊推理系统更新学习速率时的盲信源分离过程,仿真1,2026/11/15,误差指标对比,仿真1,2026/11/15,与固定学习速率相比,由,FIS,确定学习速率的,ICA,算法,优点:,算法收敛速度更快;,稳态性能更好(失配更小)。,仿真结论,仿真1,2026/11/15,在,2000,个取样之前,信号源为,5,个;在,2000,个取样时,信源数变为,4,个。,仿真,2,:,信源数的随机减少,仿真2,2026/11/15,信源数随机撤销时的误差指标,仿真2,2026/11/15,在信号撤销处(,2000,点),误差曲线有一点波动;,DNN,能够很好地跟踪信号源的随机撤销,适应信号源的动态减少。,与固定学习速率方法和将第四章可变学习速率方法对比(图5.10,图,4.9),,可以看出,基于,FIS,的,DNN,的误差波动更小。,仿真结论,仿真2,2026/11/15,仿真,3,:,信源数的随机增加,仿真3,2026/11/15,信源数随机增加时的误差指标,仿真3,2026/11/15,算法能够很好地确定出信源数,;,算法容易检测到信号源随机加入的时刻;,通过重新初始化,可以适应于信号源随机加入的情况;,采用,FIS,在线确定学习速率,可以使算法的收敛速度更快,同时得到性能更佳的分离结果,。,仿真结论,仿真3,2026/11/15,本文主要研究信源数未知和动态变化时的盲信源分离问题。,通过对信源数未知和动态变化时的盲信源分离结果的观察,对,ICA,的分离定理作了重要修正。,结束语,2026/11/15,定义了输出分量之间的相依性测度,并采用动态神经网络(,DNN),构成分离系统,得到了在线确定信源数的,BSS,算法和适用于信源数动态减少的,BSS,算法。,结束语,2026/11/15,将模糊技术与基于,NN,的,ICA,算法有机的结合起来,在线确定学习速率,构成模糊神经网络的,BSS,系统。结果表明,采用,FIS,确定学习速率,算法收敛更快,稳态性能更佳。,结束语,2026/11/15,谢谢大家!,致谢,2026/11/15,
展开阅读全文