自适应滤波器的设计与实现-毕业论文.doc

自适应滤波器的设计与实现北 京 石 油 化 工 学 院毕 业 设 计 （论 文） 任 务 书学院（系、部） 信息学院专业 通信工程 班级 通092 1.毕业设计（论文）题目自适应滤波器的设计与实现2.任务起止日期： 2013年2月28日 至 2013年6月173.毕业设计（论文）的主要内容与要求自适应滤波是利用前一时刻已获得的滤波器参数的结果自动地调节现时刻的滤波器参数，以适应信号和噪声未知的或随时间变化的统计特性，从而实现最优滤波。自适应滤波器实质上就是一种能调节其自身传输特性以达到最优的维纳滤波器。自适应滤波系统具有很强的自学习、自跟踪能力和算法实现性。自适应滤波是信号处理的重要基础，近年来发展很快，在各个领域取得了广泛的应用。设计自适应滤波器，在输入信号特性未知或者输入信号特性变化时，能够调整滤波器的参数，以达噪声干扰的抵消，并进行仿真。任务与要求：1. 调研收集资料2. 翻译外文，不少于2万字符3. 方案论证4. 软件平台仿真实现提交成果：1. 英文两万翻译为五千中文2. 自适应滤波器设计程序3. 撰写毕业论文一份4.主要参考文献1 于洋. 一种改进的LMS自适应滤波器设计D.本科学位论文.北京：北京石油化工学院，20092 丁玉美. 数字信号处理M.西安：西安电子科技大学出版社，20023 王姣. 自适应滤波器的MATLAB仿真D. 本科学位论文.北京：北京石油化工学院，20024 薛小梅. 一种基于LMS算法的自适应滤波器设计D. 本科学位论文.北京：北京石油化工学院，20065 吴燕. 一种自适应滤波器的设计与仿真J.科技广场，2010，第7期：59-616 程玉柱. 自适应滤波器的算法比较研究J.大庆师范学报，2008，第2期：23-267 张立萍. RLS自适应滤波器的Matlabe设计与仿真J.赤峰学院学报，2011，第4期：25-268 蒙俊甫. LMS自适应滤波器的仿真与实现J.设计参考，2009，第9期：67-739 程玉柱. 自适应滤波器的算法比较研究J.大庆师范学报，2008，第2期：23-2610 吴正茂. 自适应滤波器及其应用研究J.南昌水专学报，2004，第2期：36-4011 向大威、温、顾亚平. 自适应滤波器的几种全更新算法J中国科学院东海研究站12 Simon Haykin. Adaptive Filter ThearoM.北京：电子工业出版社，200613 李勇、徐震. MATLAB辅助现代工程数字信号处理M.西安电子科技大学出版社，2002.1014 王世一. 数字信号处理M.北京理工大学出版社，201215 张立萍. RLS自适应滤波器的Matlabe设计与仿真J. 赤峰学院学报，2011，第4期：25-265.进度计划及指导安排2.283.12 查询收集相关资料，翻译外文3.13-3.29 查询资料，撰写开题报告3.30-4.12 学习理论知识4.13-4.19 学习编程4.20-5.10 课题程序设计5.11-5.20 程序调试及优化5.21-6.5 学习论文编写规范，编写论文6.6-6.16 规范材料，准备答辩任务书审定日期 年 月 日 系（教研室）主任（签字） 任务书批准日期 年 月 日 教学院（系、部）院长（签字） 任务书下达日期 年 月 日 指导教师（签字） 计划完成任务日期 年 月 日 学生（签字） 摘 要最小二乘(RLS)法是一种典型的有效的数据处理方法。由著名学者高斯在1795年提出，他认为根据所获得的观测数据来推断未知参数时，未知参数最可能的值是这样一个数据，即它使各项实际观测值和计算值之间的差的平方乘以度量其精度的数值以后的和为最小。这就是著名的最小二乘法。自适应滤波算法根据的最佳准则为最小均方误差准则。自适应算法的目标在于，使滤波器输出与需要信号的误差的平方的统计平均值最小。这个准则根据输入数据的长期统计特性寻求最佳滤波。最小二乘法对不同的数据组导出不同的“最佳”滤波器。因而常说最小二乘法导出的最佳滤波器是“精确”的。递推最小二乘法(RLS)是最小二乘法的一类快速算法。本文基于matlab进行仿真，研究不同输入和信噪比滤波器的性能。通过对比实验，分析收敛性和滤波效果，确定了滤波器正则化系数的选取，信噪比高正则化系数选取小正常数，反之取大正常数。对不同类型滤波器输入信号独立实验，周期型号和非周期信号的滤波器效果都较好，但周期信号的滤波效果更好。但从程序的运行时间上看，其复杂度高，计算量比较大。关键词：自适应滤波器，最小二乘法，matlab仿真IAbstractLeast squares (RLS) method is a kind of typical effective data processing method. Gauss proposed in 1795 by famous scholars, he thinks, according to the observed data to infer unknown parameter is obtained, the unknown parameters is the most possible values that a data, which make the actual observed value multiplied by the square measure of the difference between calculated value and the accuracy of numerical and later to a minimum. This is the famous least-square method.Adaptive filtering algorithm based on optimum criterion for the minimum mean square error criterion. Adaptive algorithms goal is to make the filter output and signal statistical average of the squared error is minimal. The criteria according to the long-term statistical characteristics of the input data for optimal filter. Least squares method for different data sets derived different best filter. Thus derived the optimum filter often say least-square method is accurate. Recursive least squares (RLS) is a fast algorithm of the least-square method. this paper studies the performance of the filter input and SNR and simulation based on matlab. Convergence analysis and filtering effect by experiment, confirmed the filter selection of regularization coefficient, high SNR regularization coefficient selected normal number, instead take dazheng constant. For different types of filter input signal independent experiment, the cycle model and aperiodic signal filter effects are better, but the periodic signal filtering effect is better. But look from the programs running time, its complexity is high, the relatively large amount of calculation. Key words：Adaptive filtering, the least square method, emulation verify by MATLABIII目 录第一章 前言11.1 自适应滤波器简介11.2 选题背景及研究意义11.3 国内外研究发展现状2第二章 自适应滤波器的基础理论42.1 滤波器概述42.1.1 滤波器简介42.1.2 滤波器分类42.1.3 数字滤波器概述42.2 自适应滤波器基本理论72.3 自适应滤波器的结构9第三章 自适应滤波器递归最小二乘算法113.1 递归最小二乘算法113.1.1 递归最小二乘算法简介113.1.2 正则方程113.1.3 加权因子和正则化163.1.4 递归计算183.2递归最小二乘(RLS)算法的性能分析22第四章 基于MATLAB自适应滤波器仿真234.1 正弦波去噪实验234.2 滤波器正则化参数的确定284.2.1 高信噪比284.2.2 低信噪比314.2.3 结论334.3 输入信号不同对滤波效果的影响334.3.1 输入信号为周期信号334.3.2 输入信号为非周期信号38第五章 结论与展望445.1 结论445.2 对进一步研究的展望44参考文献45致 谢46附 录46声 明58第一章 前 言1.1自适应滤波器简介自适应滤波器属于现代滤波的范畴，它是40年代发展起来的自适应信号处理领域的一个重要应用，自适应信号处理主要是研究结构可变或可调整的系统，可以通过自身与外界的接触来改善自身对信号处理的性能，通常这类系统是时变的非线性系统，可以自动适应信号传输的环境和要求，无须详细的知道信号的结构和实际知识，无须精确设计处理系统本身。自适应系统的非线性特性主要是由系统对不同的信号环境实现自身参数的调整来确定的。自适应系统的时变特性主要是由其自适应响应或自适应学习过程来确定的，当自适应过程结束和系统不再进行时，有一类自适应系统可成为线性系统，并称为线性自适应系统，因为这类系统便于设计且易于数学处理，所以实际应用广泛。本文研究的自适应滤波器就是这类滤波器。自适应滤波器是相对固定滤波器而言的，固定滤波器属于经典滤波器，它滤波的频率是固定的，自适应滤波器的频率则是自动适应输入信号而变化的，所以其适用范围更广。在没有任何信号和噪声的先验知识的条件下，自适应滤波器利用前一时刻已获得的滤波器参数来自动调节现时刻的滤波器参数，以适应信号和噪声未知或随机变化的统计特性，从而实现最优滤波。1.2选题背景及研究意义伴随着移动通信事业的飞速发展，自适应滤波技术应用的范围也日益扩大。早在20世纪40年代，就对平稳随机信号建立了维纳滤波理论。根据有用信号和干扰噪声的统计特性(自相关函数或功率谱)，用线性最小均方误差估计准则设计的最佳滤波器，称为维纳滤波器。这种滤波器能最大程度地滤除干扰噪声，提取有用信号。但是，当输入信号的统计特性偏离设计条件，则它就不是最佳的了，这在实际应用中受到了限制。到60年代初，由于空间技术的发展，出现了卡尔曼滤波理论，即利用状态变量模型对非平稳、多输入多输出随机序列作最优估计。现在，卡尔曼滤波器已成功地应用到许多领域，它既可对平稳的和非平稳的随机信号作线性最佳滤波，也可作非线性滤波。实质上，维纳滤波器是卡尔曼滤波器的一个特例。在设计卡尔曼滤波器时，必须知道产生输入过程的系统的状态方程和测量方程，即要求对信号和噪声的统计特性有先验知识，但在实际中，往往难以预知这些统计特性，因此实现不了真正的最佳滤波。Widrow.B等于1967年提出的自适应滤波理论，可使自适应滤波系统的参数自动地调整而达到最佳状况，而且在设计时，只需要很少的或根本不需要任何关于信号与噪声的先验统计知识。这种滤波器的实现差不多像维纳滤波器那样简单，而滤波性能几乎如卡尔曼滤波器一样好。因此，近十几年来，自适应滤波理论和方法得到了迅速发展。自适应滤波是一种最佳滤波方法。它是在维纳滤波，Kalman滤波等线性滤波基础上发展起来的一种最佳滤波方法。由于它具有更强的适应性和更优的滤波性能。从而在工程实际中，尤其在信息处理技术中得到广泛的应用。自适应滤波的研究对象是具有不确定的系统或信息过程。“不确定”是指所研究的处理信息过程及其环境的数学模型不是完全确定的。其中包含一些未知因数和随机因数。任何一个实际的信息过程都具有不同程度的不确定性，这些不确定性有时表现在过程内部，有时表现在过程外部。从过程内部来讲，描述研究对象即信息动态过程的数学模型的结构和参数是我们事先不知道的。作为外部环境对信息过程的影响，可以等效地用扰动来表示，这些扰动通常是不可测的，它们可能是确定的，也可能是随机的。此外一些测量噪音也是以不同的途径影响信息过程。这些扰动和噪声的统计特性常常是未知的。面对这些客观存在的各种不确定性，如何综合处理信息过程，并使某一些指定的性能指标达到最优或近似最优，这就是自适应滤波所要解决的问题。近十几年来，自适应滤波理论和方法得到了迅速的发展，究其原因是因为自适应滤波器相比于其他一般的滤波器在滤波性能、设计实现的难易程度、对外部环境的复杂程度的适应能力和对系统先验统计知识的依赖程度等方面都显现出强大的优势。自适应滤波器具有很强的自学习、自跟踪能力和算法的简单易实现性，它在噪声量化信号的检测增强，噪声干扰的抵消，通信系统的自适应均衡，图象的自适应增强复原以及未知系统的自适应参数辩识等方面都有广泛的应用。本文仅讨论自适应滤波器在噪声干扰的抵消方面的原理、算法及仿真。1.3国内外研究发展现状经过数十年的研究，自适应滤波理论得到了极大的发展，成为信号处理理论研究的热点之一，而依据不同的优化准则可以推导出许多截然不同的自适应理论，目前自适应滤波理论主要包括以下几个分支：(1) 基于维纳滤波器理论的最小均方算法(2) 基于卡尔曼滤波理论的卡尔曼算法(3) 基于最小二乘法的算法(4) 基于神经网络的算法由于设计简单、性能最佳，自适应滤波器是目前数字滤波器领域是活跃的分支，因而被广泛应用到各种信号处理领域中.(1) 广泛用于系统模型识别如系统建模:其中自适应滤波器作为估计未知系统特性的模型。 (2) 通信信道的自适应均衡 如:高速modem采用信道均衡器:用它补偿信道失真，modem必须通过具有不同频响特性而产生不同失真的信道有效地传送数据，则要求信号均衡器具有可调系数，据信道特性对这些系数进行优化，以使信道失真的某些量度最小化。又如:数字通信接收机:其中自适应滤波器用于信道识别并提供码间串扰的均衡器。 (3) 雷达与声纳的波束形成 如自适应天线系统，目前在通信领域研究的一个重要课题就是如何在有限的频谱资源基础上提高通信系统的容量。在第三代移动通信系统(TD-SCDMA)中的一个关键技术就是智能天线技术，它的核心是自适应天线波束形成技术，它结合了自适应技术的优点，利用天线阵列对波束的汇成和指向的控制，产生多个独立波束，可以自适应地调整其方向图消除不希望的干扰以跟踪信号的变化。 (4) 消除心电图中的电源干扰一 如:自适应回波相消器，自适应噪声对消器:其中自适应滤波器用于估计并对消预期信号中的噪声分量。噪声中信号的滤波、跟踪、谱线增强以及线性预测等。第二章 自适应滤波器的基础理论2.1 滤波器概述2.1.1 滤波器简介滤波是电子信息处理领域的一种最基本而又极其重要的技术。在有用信号的传输过程中，通常会受到噪声或干扰的污染。利用滤波器技术可以从复杂的信号中提取所需要的信号，同时抑制噪声或者干扰，以便更有效地利用原始信号。滤波实际上是一种选频系统，它对某些频率的信号给以很小的衰弱，让该部分信号顺利通过；对其它不需要的频率信号则给以很大的衰弱，尽可能阻止这些信号通过。在电子系统中滤波器是一种基本的单元电路，使用很多，技术也较为复杂，有时候滤波的优劣直接决定产品的性能，所以很多国家非常重视滤波器的理论研究和产品开发。2.1.2 滤波器分类滤波器的分类方法很多，总的来说可以分为经典滤波器和现代滤波器两大类。经典滤波器是假定输入信号中有用的成分和希望去掉的成分各占有不同的频带，即关于信号和噪声应具有一定的先验知识，这样当原始信号通过一个线性系统时有效的去掉无用的成分。如果有用信号和噪声的频谱相互叠加，那么经典滤波器就无能为力了。现代滤波器是在没有任何关于信号和噪声的先验知识的条件下，从含有噪声的测量数据或时间序列中估计信号的某些特征或信号本身。一旦信号被估计出，那么被估计的信号将比原信号具有更高的信噪比。现代滤波器把信号和噪声都视为随机信号，利用它们的统计特性（如自相关函数、功率谱）导出一套最佳的估计算法，然后用硬件或软件予以实现。根据所处理的信号不通，滤波器还通常分为模拟滤波器和数字滤波器，现代滤波器大多是数字滤波器。2.1.3 数字滤波器概述从输入信号中滤出噪声和干扰以提取有用信息的过程称为滤波，相应的装置称为滤波器。如果滤波器的输入和输出均为离散信号，称该滤波器为数字滤波器。当滤波器的输出信号为输入端的线性函数时，该滤波器称为线性滤波器，否则就称为非线性滤波器。数字信号处理的一种重要方式就是滤波，数字滤波器就是指具有某种选择性的器件、网络或以计算机硬件支撑的计算机程序。与模拟滤波器不同的是，数字滤波器处理的信号是离散的数字信号。数字滤波器可以用差分方程、单位取样响应以及系统函数等表示。对于研究系统的实现方法，即它的运算结构来说，用框图表示最为直接。设输入信号为x(n)，输出信号为y(n)，该数字滤波器可用以下差分方程来表示： （2-1）式中，称为滤波器系数。当时，上式变为： （2-2） 这种滤波器称为全零点滤波器。如果，时，则称为全极点滤波器或递归滤波器。由上式，可知数字滤波器的传递函数为: (2-3)其单位冲击响应函数为: (2-4) (2-5) 如果当n0时，有h(n)=0，这样的滤波器系统称之为因果系统。如果冲激响应函数是有限长的，即 (2-6) 则称此滤波器为有限冲激响应FIR(FiniteImpulseResponse)滤波器，否则，称之为无限冲激响应IIR(InfiniteImpulseResponse)滤波器。如果h(n)满足如下条件: (2-7)则称此滤波器是因果的，并且是稳定的。一个给定的输入输出关系，可以用多种不同的数字网络来实现。在不考虑量化影响时，这些不同的实现方法是等效的；但在考虑量化影响时，这些不同的实现方法性能上就有差异。因此，运算结构是很重要的，同一系统函数H(z)，运算结构的不同，将会影响系统的精度、误差、稳定性、经济性以及运算速度等许多重要性能。数字滤波器根据其冲激响应函数的时域特性，可分为两种，即无限长冲激响应(IIR)滤波器和有限长冲激响应(FIR)滤波器。IIR滤波器的特征是，具有无限持续时间冲激响应。这种滤波器一般需要用递归模型来实现，因而有时也称之为递归滤波器。FIR滤波器的冲激响应只能延续一定时间，在工程实际中可以采用递归的方式实现，也可以采用非递归的方式实现。数字滤波器的设计方法有多种，如双线性变换法、窗函数设计法等等。随着MATLAB软件尤其是MATLAB的信号处理工作箱的不断完善，不仅数字滤波器的计算机辅助设计有了可能，而且还可以使设计达到最优化。数字滤波器设计的基本步骤如下：1.确定指标在设计一个滤波器之前，必须首先根据工程实际的需要确定滤波器的技术指标。在很多实际应用中，数字滤波器常常被用来实现选频操作。因此，指标的形式一般在频域中给出幅度和相位响应。幅度指标主要以两种方式给出。第一种是绝对指标。它提供对幅度响应函数的要求，一般应用于FIR滤波器的设计。第二种指标是相对指标。它以分贝值的形式给出要求。在工程实际中，这种指标最受欢迎。对于相位响应指标形式，通常希望系统在通频带中具有线性相位。运用线性相位响应指标进行滤波器设计具有如下优点：只包含实数算法，不涉及复数运算；不存在延迟失真，只有固定数量的延迟；长度为N的滤波器(阶数为N-1)，计算量为N/2数量级。2.逼近确定了技术指标后，就可以建立一个目标的数字滤波器模型。通常采用理想的数字滤波器模型。之后，利用数字滤波器的设计方法，设计出一个实际滤波器模型来逼近给定的目标。3.性能分析和计算机仿真数字滤波器的实现，大体上有如下几种方法：(1) 在通用的微型机上用软件来实现。软件可以由使用者自己编写或使用现成的。自IEEE DSP Comm.于1979年推出第一个信号处理软件包以来，国外的研究机构、公司也陆续推出不同语言不同用途的信号处理软件包。这种实现方法速度较慢，多用于教学与科研。(2) 用单片机来实现。目前单片机的发展速度很快，功能也很强依靠单片机的硬件环境和信号处理软件可用于工程实际，如数字控制、医疗仪器等。(3) 利用专门用于信号处理的DSP片来实现。DSP芯片较之单片机有着更为突出的优点，如内部带有乘法器、累加器，采用流水线工作方式及并行结构，多总线，速度快，配有适于信号处理的指令等，DSP芯片的问世及飞速发展，为信号处理技术应用于工程实际提供了可能。2.2 自适应滤波器基本理论所谓的自适应滤波，就是利用前一时刻以获得的滤波器参数的结果，自动的调节现时刻的滤波器参数，以适应信号和噪声未知的或随时间变化的统计特性，从而实现最优滤波。自适应滤波器实质上就是一种能调节其自身传输特性以达到最优的维纳滤波器。自适应滤波器不需要关于输入信号的先验知识，计算量小，特别适用于实时处理。由于无法预先知道信号和噪声的特性或者它们是随时间变化的，仅仅用FIR和IIR两种具有固定滤波系数的滤波器无法实现最优滤波。在这种情况下，必须设计自适应滤波器，以跟踪信号和噪声的变化。自适应滤波器的特性变化是由自适应算法通过调整滤波器系数来实现的。一般而言，自适应滤波器由两部分组成，一是滤波器结构，二是调整滤波器系数的自适应算法。滤波器是参数可变的。自适应算法则用来控制数字滤波器参数的变化。自适应滤波器实际上是一种能够自动调整本身参数的特殊维纳滤波器，在设计时不需要预先知道关十输入信号和噪声的统计特性，它能够在工作过程中逐步了解或估计出所需的统计特性，并以此为依据自动调整自身的参数，以达到最佳滤波效果。图2.1 自适应滤波器的一般形式自适应滤波器的特性变化是由自适应算法通过调整可编程滤波器系数来实现的。一般而言，自适应滤波器由可编程滤波器(滤波部分)和自适应算法(控制部分)两部分组成。可编程滤波器即参数可调的滤波器，自适应算法对其参数进行控制以实现最佳滤波工作。可编程滤波器可以是FIR横式滤波器、IIR横式滤波器以及格型滤波器。图2.1给出了自适应滤波器的一般结构，其中输入信号x(n)通过可编程滤波器后产生输出信号(或响应)y(n)，将其与标准信号d(n)进行比较，形成误差信号e(n)，并以此通过某种自适应算法对滤波器参数进行调整，最终使得e(n)的均方值最小。根据滤波器的输出端信号与输入端信号之间的函数关系，自适应滤波器可以分为线性自适应滤波器和非线性自适应滤波器。由十线性自适应滤波器和相应的算法具有结构简单、计算复杂性低的优点，分析和实现容易，而广泛应用十自适应信号处理系统中;非线性自适应滤波器具有更强的信号处理能力，在神经网络和模糊神经网络有着明显的优势，具有通过监督学习逼近未知非线性输入输出映射的能力。但由十非线性自适应滤波器的计算较复杂，硬件实现比较困难，实际用得最多的仍然是线性自适应滤波器。线性自适应滤波器的结构可以是FIR型结构，也可以是IIR型结构。尽管IIR结构的滤波器能够以很小的复杂度来实现和FIR滤波器相同的功能，但IIR型滤波器在自适应处理过程中，极点移出单位圆之外时，就会使滤波器产生不稳定。所以在实际应用中一般都采用FIR型结构，主要是因为:FIR结构的自适应技术实现更容易，其权系数的修正就就是滤波器性能的调整，同时 FIR结构的滤波器是绝对稳定的，目_具有更好的鲁棒性，这也更适合实时嵌入式应用。通常一个稳定的IIR滤波器总是可以用足够多阶的FIR滤波器来近似代替，用FIR型结构作为自适应滤波器的结构具有广泛的应用空间。一个自适应的FIR滤波器的结构，可以是横截型结构，对称的横截型结构以及格型结构。其中横截型结构是大多数应用情况下所采用的最主要的自适应滤波器结构，它可应用所有FIR滤波器，具有形式简单，易十实现等特点，并可以用流水线提高性能;对称的横截型结构可满足符合对称性条件的FIR滤波器，具有权系数少，计算量小的特点，并可以用流水线提高性能，但收到对称性条件的约束;格型结构具有收敛速度快，稳定性好，对系数量化精度要求不高的特点，但计算量大，不容易实时实现，只能部分实现流水线。2.3 自适应滤波器的结构自适应滤波器的结构与算法有着密切的联系，因为自适应滤波器既要估计滤波器能实现期望信号的输出，又要估计滤波参数朝有利于目标方向的调整，并保证滤波器的稳定工作。同时，结构的选取不仅会影响到计算复杂度(即每次迭代的算术操作数)，还会对达到期望性能标准所需的迭代次数(自适应收敛的时间)产生影响。另外，不同的结构还有特定的应用场合，需要根据实际环境来选择相应的结构和算法。自适应滤波器根据其冲击响应的形式一般分为有限冲击响应自适应滤波器(FIR )、自适应格型滤波器和无限冲击响应自适应滤波器（IIR)三种结构。本文采用自适应滤波器设计中最常用的FIR横向型结构。利用抽头延迟线做成的横向滤波结构的自适应滤波器，通称为自适应横向滤波器(或自适应FIR滤波器)。它是研究所有自适应滤波算法的基本结构，由于其结构简单、成本较低，也是工程领域最常用的一种自适应滤波器。图2.2 自适应滤波器自适应横向滤波器的结构图如图2.2所示，为可调节抽头权系数表示在n时刻的系数值。它利用正规直接形式实现全零点传输函数，而不采用反馈调节。权系数的调节过程是首先自动调节滤波器系数的自适应训练步骤，然后利用滤波系数加权延迟抽头上的信号来产生输出信号，将输出信号与期望信号进行对比，所得的误差值通过一定的自适应控制算法再用来调整权值，以保证滤波器处在最佳状态，其抽头加权系数集正好等于它的冲激响应，达到实现滤波的目的。第三章 自适应滤波器递归最小二乘算法3.1 递归最小二乘算法3.1.1 递归最小二乘算法简介用最小二乘法解决线性滤波问题，这种方法不需要对滤波器输入信号的统计特性进行假设。为了说明最小二乘法的基本思想，假定有一组实数，它们分别取自时刻。要求构造一条曲线，这条曲线能够以某种最优方式拟合这些数据点。现用表示这条曲线与时间的函数关系。根据最小二乘法，“最优”拟合是使与，之差的平方和最小。最小二乘法可以看成维纳滤波理论的另一种表示方法。本质上，维纳滤波是从集平均导出的，其结果是一种统计意义上最优的、在各种现实运行环境下获得的滤波器；并假定该滤波器是广义平稳的。另一方面，最小二乘法是确定性的。具体来说，由于它涉及使用时间平均，故其滤波器结果取决于计算所用的样本数。在计算过程中，最小二乘法是一种批处理方法，因为最小二乘滤波器用来处理一批数据。这种滤波器通过一个数据块接一个数据块的重复计算来适应非平稳数据。递归最小二乘估计算法是以最小误差平方和为优化目标，它是在在最小二乘基础上推导出来的。我们先看最小二乘算法的推导。3.1.2 正则方程采用如图2.2所示的线性横向滤波器作为模型。通过组成抽头与相应的抽头权值之间的内积，并用作为期望响应，我们将误差定义为期望响应和滤波器输出之间的差值，即 (3-1) 其中 (3-2)将式（3-2）代入（3-1）式可得 (3-3)在最小二乘法中，横向滤波器抽头权值的选择应该使得误差平方和构成的代价函数最小。该代价函数定义为 (3-4)其中和定义了取值范围，我们在这一范围使误差最小化，式中的和也可以看成误差能量。总的来说，我们要解决的问题就是将式（3-3）代入式（3-4），然后得到代价函数在的间隔保持不变。最小化结果得到的滤波器叫做线性最小二乘滤波器。和取值取决于数据开窗的情况。横向滤波器模型所用的抽头权值共有M个，由输入数构成的矩阵可以有不同的形式。这里我们用到协方差法数据开窗。协方差法这种方法对时间段1,N之外的数据不做假设。因此，由定义的极限范围和可以将输入数据用矩阵表示为 (3-5)将式（3-4）改写为 (3-6)设第k个抽头权值用实部和虚部表示为 (3-7)将式（3-7）代入式（3-3），可得 (3-8)代价函数对抽头权值实部虚部的导数 (3-9)得 (3-10)为了使得代价函数关于横向滤波器抽头权值最小，要求同时满足下列条件 (3-11)用表示按照式（3-11）使代价函数最小时求出的估计误差的特殊值。从式（3-10）容易看出，式（3-11）表示的条件等效于下列方程组 (3-12)式（3-12）为正交性原理的瞬时描述。在最小二乘的条件下，最小误差时间序列与横向滤波器第k个抽头上的输入序列正交，k为横向滤波器长度。正交性原理建立了一组抽头输入与最小误差之间的关系。令式（3-3）中的抽头权值为最小二乘意义下的最优权值，可得 (3-13)将式（3-13）代入式（3-12），整理后得到M个联立方程组 (3-14)式（3-14）中两个以i为下标的和式表示求时间平均，知识没考虑比例因子。这可解释如下：1. 式（3-14）左边的时间平均（对i）表示线性横向滤波器中抽头输入的时间平均自相关函数，可以写为 (3-15)2. 式（3-14）右边的时间平均（对i）表示抽头输入与期望响应之间的时间平均互相关函数，可以写成 (3-16)相应地，可将瞬时方程组（3-14）改写成 (3-17)方程组（3-17）是线性最小二乘滤波正则方程的展开式。将式（3-17）表示的方程组改写为矩阵形式。首先引入定义：1) 输入的时间平均自相关矩阵为 (3-18)2) 抽头输入与期望之间的时间平均互相关向量为 (3-19)3) 最小二乘滤波器的抽头向量为 (3-20)按照这些矩阵定义，将M个联立方程组（3-14）简单地改写为 (3-21)式（3-21）是线性最小二乘滤波器的正则方程的矩阵形式。假定是非奇异矩阵，因此逆矩阵存在，可由式（3-21）解得线性最小二乘滤波器的抽头权向量为 (3-22)式（3-22）是一个很重要的结论：它是矩阵的维纳-霍夫方程在线性最小二乘条件下的解。式（3-22）表明线性最小二乘滤波器的抽头权向量由滤波器抽头输入的时间平均相关矩阵的逆矩阵与抽头输入和期望响应之间时间平均互相关向量Z的乘积唯一确定。3.1.3 加权因子和正则化另外，习惯上还在的定义中引入加权因子。于是可以写出 (3-23)即 (3-24)其中是时刻的抽头输入向量，定义为 (3-25)式中是时刻的抽头权值响应，定义为 (3-26)式（3-23）的加权因子满足关系01。一般来说，加权因子其目的在于确保滤波器能够忘记“过去的”数据以确保算法适用于非平稳的环境，能跟踪观测数据的统计变化。最小二乘法是一个病态求逆过程。在该问题中，给定构成抽头输入向量的输入数据和相应的期望响应，要求出估计出多重回归模型的位置参数向量，该向量与和有关。最小二乘的病态特性源于一下原因：1