传感器原理与应用---数据分析第11讲(8章)-数据分析与处理.ppt

单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第八章 数据分析与处理,数据采集与处理,8.1 数据分析意义,一、数据分析概述,数据分析：,数据分析的目的是把隐没在一大批看起来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出研究对象的内在规律。,数据分析内容：,1）收集信息；,2）选定模型；,3）推断处理：识别真假信号、修正系统误差；分析信号的基本特性和类型，便于选择,合理,信号处理方法；提高信号处理的可靠性。,数据分析的方法通常有：,1)频域分析：傅里叶变换；,2）时域分析：微积分运算；平滑和滤波；统计分析；,1、正态性检验,根据被测信号的概率密度分布图判别,正态性检验通常把一组数据序列点在一种专用的正态概率纸上，若各点近似地落在一条直线上，则说明样本符合正态分布。,通过累积概率分布图,的规律也可进行数据正态性的检验。,2,、平稳性检验,如果信号的均值近似是常数，信号的自相关和起始时间无关，仅和时间差有关。,目测的话，平稳信号曲线各部分的变化小、波峰波谷分布均匀、变化频率较为一致。,平稳信号对应的被测系统的基本特性不随时间改变。,分段统计特性分析法（轮次法）,二、典型的数据类型,设有随机序列X、长度为M,现将其分成N个子区间、求出各子区间的均方值、然后再求这N个均方值的中值、即大小处于中间位置的值。所谓轮次检验是将这N个均方值逐个与中值比较、其大于中值者记为“+，小于中值者记为“”、这种从“+”到“一”和从“一到“+的变化次数称为轮次数，用r表示。一个序列的轮次数反映序列的独立性，平稳随机过程的轮次数将满足定的统计规律,式中：N为区间总数；N,1,均值大于中值的子区间数；N,2,均值大于中值的子区间数；a为置信度区间；,随机序列平稳性检测的轮次法,3、周期性检验,根据被测系统,的物理力学特性判别,如果系统的基本物理力学特性随时间周期性变化，则认为被测信号呈现周期性。,目测检验,观测被测信号的记录曲线，如果信号曲线成周期性变化，则认为被测信号呈现周期性。,自相关分析法,：如果自相关函数曲线呈现周期性变化，则认为被测信号呈现周期性。如图所示。,数据采集所得的原始信号，在分析处理前需要进行预处理。,预处理工作主要包括去干扰、消除趋势项、剔除异常数据、平滑、拟合等,。,一、趋势项,1、,趋势项就是在信号中存在线性项或缓慢变化的、周期大于记录长度的非线性成分。,原因,：(1)抽样时未对原始信号加以适当的处理，如在AD转换前未进行必要的高通滤波，使抽样信号中含有不需要的低频成分。,(2)由于外界原因，包括传感器或仪器的零点漂移；传感器安装不当、测试对象的基础运动等原因引起的信号波形漂移；积分放大器后产生的趋势项。,8.2 数据预处理,2）平均斜率法消除趋势项,平均斜率法消除趋势项前后曲线变化，如图所示。,（a）消除趋势项前的原始数据 （b）消除趋势项后的原始数据,平均斜率法消除趋势项,3）有高阶趋势项的零均值化,设有序列,设高阶趋势项表达式为：,根据最小二乘法原理求出,则零均值化后 ，,如图所示。,t,x,(,t,),预处理前,预处理后,三测试数据的五点三次平滑,平滑，即在满足残差平方和最小的前提，对测试数据进行处理，减少因一些偶然因素所造成的数据误差的影响，起到剔除异点的作用。,平滑处理是进行分段拟合。五点三次平滑是用三次多项式拟合相邻五个点的数据。,8.2 数据预处理,其中，系数a0a3通过对分段5点按最小均方标准进行拟合得到。,(a)平滑前的波形 (b)平滑后的波形,数字信号平滑前后的波形,四奇异点剔除,剔除异常数据是根据统计学原理。统计学认为，大量采样数据值不超过超过标准差的3倍。若以零均值信号的3倍标准差为置信区间，其置信度可达到99.74，因此大于3倍标准差的信号几乎不存在，可以视为异常点。,8.2 数据预处理,当 ，该点即为奇异点，应剔除。,(a)剔除异点前的波形 (b)剔除异点后的波形,剔除疑点前后波形的形状,五噪声与周期性干扰信号的消除,1）有效频率以外的噪声与干扰信号的消除,低通滤波器（去高频）,高通滤波器（去低频）,带通滤波器（去高低频）,2）有效频率以内的噪声与干扰信号的消除,带阻滤波器,频域消除法,8.1 数据预处理,概述：1、误差处理意义：误差是不可避免。,1、对被测单个信号进行必要的去误差处理，更便于发现检测信息统计特征，找出实验数据的规律；,2、对多路、多传感器检测信息去误差处理，更便于进行信息融合，实现目标识别。,8.3 随机信号去误差处理,2、误差的来源：,1、测量装置误差；,2、测量环境误差：温度、湿度、振动；,3、测量方法误差：,4、测量人员误差：,3、减少误差的方法：,1、从误差的来源方面去除；,2、最终测量值=测量直接读数+修正值；,3、测量方法：如：电桥法测电阻；采用正负磁场消除对电表指针印象；合理设计测量步骤和数据处理程序；,8.3 随机信号去误差处理,一、测量误差的定义,误差=测量值-真值,真值：观测一个被测物理量，该量本身所具有的真实值大小。,真值一般无法获取，除非有两种特殊情况：,1、理论值，如：圆周360度,2、约定真值，国际基准单位1千克,绝对误差：,相对误差：,8.3.1 随机信号的误差,1系统误差,在同样条件下，对同一物理量,无限多次测量值的平均值减去该被测量的真值,。系统误差的大小、方向恒定一致或按一定规律变化。,2随机误差,在同样条件下，对同一物理量的,测量值减去无限多次测量的平均值,。随机误差具有随机性、正负抵偿特性。,3粗大误差,明显超出限定条件下预期的误差，它是统计,异常值,。应剔除含有粗大误差的测量值。,二、测量误差的分类,针对不同类型误差，采用不同的处理方法：,1、采样频率很高，测量次数很多，,对测量后信号中存在的随机干扰和粗大误差的处理（随机信号去误差处理）；,2、采样频率低、测量次数较少，,添加测量信号中缺少点的处理（插值处理）；,3、由测量给定点的不精确数据求其精确数据（非线性补偿处理）。,8.3 随机信号去误差处理,当测量次数n充分大时，对N次测量值取平均值，其数学期望为,被测量的真值是当测量次数n为无穷大时的统计期望值。,算术平均值的标准误差,为：,由上式可见：测量值的算术平均值的标准误差 是各测量值的标准误差的 倍。因此，以算术平均值作为检测结果，测量精度将随着采样次数的增加而提高。,（8-3-1）,（8-3-2）,8.3 随机信号去误差处理,8.3.2 随机信号去误差的处理,1、通过测量值求平均，减少随机误差,对系统输出值估算时，,先对直接检测值算术平均，再按函数关系求测量结果的误差较小,，比先对多个检测值按函数关系计算出每次采样结果，然后求采样结果的算术平均值效果好。,再设,（8-3-3）,（8-3-4）,将,（8-3-4），,在真值X,0,附近展开泰勒级数，保留二次项得：,（8-3-5）,（8-3-6）,2、先求直接测量值的平均，后求测量值的函数，减少随机误差,设：测量值,分析：,当测量次数n较大时，（8-3-5）可以认为,但 （8-3-6）不可能为零。,结论,：,当采样次数n不受限制时，可以认为平均值,因此 应采用：。,1)标准误差 是在采样次数n足够大得到的，但实际测量只能有限次，测量次数n如何确定？,说明：实际测量中的有限次测量只能得到标准误差的近似值,2)采用测量序列的剩余误差通过贝塞尔公式求标准误差的近似值,3）采用近似值 通过谢波尔德公式确定测量次数n。,8.3 随机信号去误差处理,3、测量次数n的确定以减少随机误差,步骤：,贝塞尔（Bessel）公式,对于测量列 中的一次测量结果标准差有：,剩余误差为：,真差 ：,由式（8-2-9）、(8-2-8)有：,由此可推导出用剩余误差计算近似标准误差的贝塞尔公式：,（8-3-7）,（8-3-8）,（8-3-9）,（8-3-10）,（8-2-11）,3、测量次数n的确定以减少随机误差,2）利用贝塞尔公式求标准误差的近似值,谢波尔德公式,a.给出了标准误差 、近似误差 以及检测设备分辨率 之间的关系：,b.当测量次数n增加，利用随机误差的抵偿性质，使随机误差的大小减小到与 相近的数量时，测得到标准误差就趋于稳定，此时测量次数n为选定值。,（8-2-12）,2）利用谢波尔德公式确定测量次数,一般 n=1020之间,粗大误差,（或称疏失误差）是指显然与事实不符的误差，它对测量结果是一种严重的歪曲。这种误差主要是由于失误、系统过度疲劳、偶然故障、外界突发性干扰或系统内部故障等众多随机原因造成的。,判断是否是粗大误差的两个准则：,(1)莱特准则：,当N有限时，特别是当N10时,采用莱特准则作为判据就不可靠了。即使在测量数据中含有疏失误差，也无法判定剔除。,8.3.3 粗大误差的剔除,(2)格罗贝斯准则（略）,设:对某一被测样品作等精度的多次独立检测，得到一个测量列：,服从正态分布，则有：,（8-3-14）,格罗贝斯统计量g的确切分布，即：,（8-2-15）,为置信概率，通常取5%,8.3.3 粗大误差的剔除,(2)格罗贝斯准则,1）用查表法找出统计量的临界值：,测量顶端值 X1或Xn所对应的格罗贝斯统计量,2）判断：,注意：（1）对于次数较少的疏失误差剔除的准确性高；,（2）但每次只能剔除一个可疑值。,（8-2-16）,【例,】对某种样品进行8次检测采样，测得长度值为Xi：,8次测量结果由小到大排列顺序为：,8次测量的平均值为：,计算相应的剩余误差为：,剔除疏失误差前的近似误差为：,（8-2-17）,（8-2-18）,8.2.3 粗大误差的剔除,由表看出:值得怀疑。,由 数值表查得:取（8，0.01）=2.22,于是有:,因,故 为可疑值剔除。,在余下的7个数据中，,故 余下7个测量数据中已无疏失误差值存在，后续计算时可用。,疏失误差剔除对于提高虚拟仪器系统的一致性有很重要作用。,一最小二乘法及其应用,某物理量有一组测量值为 ，则该物理量的最佳估计值a满足“剩余误差平方和为最小”，即：,（8-3-23）,8.3 随机信号去误差处理,8.3.4 平滑及拟合（重要）,令：,应用：例如：有一组测量值（xi，yi）近似呈线性关系，求其拟合直线方程。,设直线方程为ykxb，即求k、b，使得,（8-2-24）,即可求得相应的k、b值。,最小二乘法及其应用,例如：有一组测量值（xi，yi）近似呈线性关系，求其拟合直线方程。,即可求得相应的k、b值。,设直线方程为ykxb，使得,1,2,3,4,xi,0.35,0.40,0.65,0.43,yi,0.3,0.45,0.47,0.52,解：,得：,插值是用已知点测量值估计未知点的近似值。,定义：测量到 y=f（X）在一系列点X0，X1，X2，Xn处的函数值 Y0，Y1，Y2，Yn，通过构造一个简单函数P（X）作为y=f（X）的近似表达式：y 近似等于,满足插值条件：,Pn(Xi)=Yi i=1,，,2,，,3,，,.n,，其中：f（X）称为,被插函数,；P（X）称为,插值函数；,Xi 称为,插值节点,；Yi 称为,插值条件。,应用,：,1）系统采样频率的限制；2）为了节省硬件成本，以软代硬。3）远距离大量数据通信需要 4）数据、图象解压缩。5）计算函数值、零点、极值点、导数、积分,方法,：（1）拉格朗日插值法；（2）牛顿插值法；（3）样条插值法,8.2 随机信号去误差处理,二、插值处理,1、拉格朗日插值,拉格朗日插值就是,求插值代数多项式,，,推导思路,：两点一次插值（线性插值）多项式就是在满足,求 在 n=1时的一次多项式P1(X）。,从几何上看，就是过两点（x0，y0）（x1，y1）作直线 y=P1（x）,，,用点斜式表示为：,（8-2-25）,（8-2-27）,有如下性质:,一般插值问题,:,已知n+1个互不相同的点X0，X1，X2，Xn处的函数值 Y0，Y1，Y2，Yn，求次数不超过n的多项式Pn(x)，其系数Ln(x),使,几何上就是求作n次曲线，,使n+1个点(X0,Y0),(X1,Y1),.,(Xn,Yn)通过该曲线。,函数 满足条件:,（8-2-29）,于是函数 y=f（X）的n次插值 多项式，即,拉格朗日插值多项式,:,简写为:,（8-2-31）,拉格朗日插值多项式的误差估计,（8-2-36）,1）零次插值误差为：,2）两点一次插值(线性插值)误差为：,3）三点二次插数值（抛物插值）多项式：,（8-2-38）,（8-2-39）,（8-2-37）,二,、牛顿插值,通过一组测量数据求表达该组数据的近似表达式，并通过该表达式求任意给定点的函数值。,设已知函数 y(x)在点X0，X0+h，X0+2h，.，X0+nh 上的函数值为（Y0，Y1，Y2，.，Yn），求满足插值条件的代数多项式。,牛顿插值法的优点是运算次数少，节点改变时使用方便。,另外，牛顿插值也可采用不等节距。,牛顿插值是通过计算差商和差分实现的。,具体步骤：,一阶差分为：,二阶差分为：,三阶差分为：,（8-2-41）,（8-2-42）,（8-2-40）,8.2 随机信号去误差处理,一阶差商：,（8-2-43）,二阶差商：,（8-2-44）,（8-2-44）,（8-2-45）,牛顿插值n次代数多项式为：,当增加一个节点时，牛顿插值公式只需增加一项，有如下递推公式：,（8-2-46）,8.2 随机信号去误差处理,【例】,：对某种产品进行检测,1）已知检测自变量电流I为：0、0.93、2.73、4.27、6.50,对应的位移值M分别为：0、0.96、2.27、3.13、4.32，,2）检测数据差商表：,8.2 随机信号去误差处理,（8-2-47）,（3）四次牛顿插值多项式为：,（4）将各差商点及其差商值代入上式,（8-2-48）,8.2 随机信号去误差处理,（8-2-47）,（5）设 ，计算出相应的位移为：,（6）适用于采样频率不高、传输速率低、插值点数较少的场合,三、多项式插值（拉格朗日、牛顿插值）的缺陷与分段插值,例,：已知区间-5，5函数 ，,分别取n=5，n=15（等距节点）时，拉格朗日插值多项式的图象在区间中部多节点比少节点逼近误差小，但在端点附近多节点插值反而变坏（Runge现象）。,经证明，当节点无限加密时，在两端的波动越来越大。,拉格朗日插值多项式次数n与误差的关系,8.3 随机信号去误差处理,分段样条插值,分段样条实质上是分段多项式的光滑连接。,条件：S(x)在每个区间(X,j-1,，X,j,),(j=1，,N),上是m次多项式；,S(x)及其直到m-1阶导在数a，b连续,则:S(x)是关于分段：,a=X0X1X2XN=b,的m次样条函数。,当 m=3 时为常用的三次样条函数。,（1）三次样条函数插值,已知函数 y=f(x)在节点,X0，X1，X2，Xn,处的函数值等于,Y0，Y1,Y2，Yn,，求分段三次样条函数S(x),在分段,a=X0X1X2Xn=b,上都满足,S(xj)=yj j=1,，,2,，,N,，且二阶导连续。,则:S(x)称为y=f(X)的三次插值样条函数。,解法：,因为：,S(x)子区间Xj-1，Xj是三次多项式，且光滑，表明它二级可导，假设已知：,二阶导数代入拉格朗日插值公式,有,积分后得：,两个未知参数C,i,/D,i,：,S(x)保证了逐段三次插值，保证了 在节点的连续性，S(x)在节点处的二阶导数值M0，M1，MN实际上是未知数。,求M关系式：,用 在节点的连续性求参数Mj。,（8-2-50）,推得M关系式：,（8-2-51）,（3）端点条件,M关系式是N+1个未知数的N-1个方程，通过端点可减少2个未知数 1）给定M0、MN：,2）,在X0，X1与XN-1，XN上S(X)为二次多项式，此时M0=M1，MN=MN-1,。,3）,特别可取 M0=0、MN=0，此时称S(X)为,自然三次插值样条。,【例】：已知Xi，yi值如下表，求自然三次插值样条函数S(X),设 M0=M4=0，,4,样条插值,（8-2-52）,8.2 随机信号去误差处理,8.4.1 开环非线性补偿算法,开环非线性补偿算法,把一个适当的非线性补偿环节（或称线性化环节）串接到测量通道中，使测量通道的输入输出特性整体得到线性化关系。,通常：X与U0 为非线性关系。U0 经线性调节放大为 U1，所以X与U1之间仍为非线性关系。测量通道加入线性化环节（利用线性化环节本身的非线性特性来补偿（抵消）传感器环节的非线性特性），从而使测量通道的输入X与输出U2之间成为线性关系，称为非线性补偿。,8.4 非线性补偿（略）,实际系统的特性函数通常为非线性，采用非线性补偿技术，使输出与输入关系呈线性关系。,设计方法：,1、设传感器环节输入输出关系为：U0=f1(x),则放大环节输入输出关系为：,U1=a+K*U0,其中K、a均为常量,线性化环节的输出为：U2=b+S*X,由式（8-2-53）（8-2-54）（8-2-55）得通道输入输出关系为：,（8-2-53）,（8-2-54）,（8-2-55）,（8-2-56）,8.4.1 开环非线性补偿算法,8.4 非线性补偿,由（8-2-55）可确定线性化系统的输入与输出关系。,【例】：如对镍铬考铜热电偶,镍铬考铜热电偶开环非线性补偿,已知热电偶的解析表达式为:,其中：a、b均为常数（可求出），T为温度，Et为热电势,若Tmax=400度，则,（8-2-57）,（8-2-58）,放大环节的表达式为：U1=K*Et,测量通道的输入输出特性要求为：U2=S*T,由 上式得线性补偿环节的输入输出关系表达式为：,（8-2-59）,其中：K、a、b、S均为已知常数，函数关系唯一确定。,8.4 非线性补偿,传感器为非线性环节；,调节放大环节的放大倍数足够大；,反馈网络为非线性环节，利用它的非线性特性可以补偿传感器的非线性；,使测量通道的输入,输出特性具有线性关系（,U2,与,X,）。,采用闭环式线性化的关键：,1,）根据已知的传感器非线性特性和测量通道的线性特性求出非线性反馈环节的非线性特性。,2,）根据非线性反馈环节的非线性特性，设计非线性反馈网络。,8.4.2 闭环非线性补偿算法,8.4 非线性补偿,设计闭环非线性补偿的算法：,设：传感器的输入输出特性为：U1=f1(x),放大器的输入输出特性为：U2=K*U,测量通道输入输出特性为：U2=S*x,由上图有方程组：,由方程组得：,闭环非线性补偿结构框图,（8-2-60）,一个具有非线性的传感器敏感元件或系统特性的级数表示形式为：,（8-2-61）表明传感器敏感元件的输出除了线性项a1*x外，还包含有非线性的二次及其以上的高次项。在小信号的情况下，二次项影响较大。随着次数的增加，其余各项影响逐渐减小，可以忽略不记。,利用两个特性相同的敏感元件在相反方向工作，并取它们的信号差作为传感器的输出，将信号中的非线性项抵消，保留线性成分，使信号线性度得到改善，这就是差动补偿法。,动态补偿法,（8-2-61）,8.4 非线性补偿,8.4.3 非线性差动补偿算法,设敏感元件1的输出特性为：,表明：差动输入抵消了偶次项，只残留奇次项。而三次及其以上的奇次项影响很小，所以输出线性度得到很大改善。,设敏感元件2的输出特性为：,设：x=x1=-x2,推得：,分段校正法是将传感环节输入输出特性U实=f(x)，通过分段逼近到希望的输入输出特性：U校=K2*xi,（1）按精度要求把f(x)划分为n段，并由 U实=f(x)上的1、2、3、.n点得到相应U校=K2*xi上的1、2、3、.n点。当n足够大时，f(x)上每一段均可看成是直线，斜率为K1i。,（2）设计一种校正环节，根据f(x)的大小，通过逻辑判断x属于哪一段上，再经过线性变换处理，使f(x)上的第i 段落在U校=K2ix相应的第i 段上。,（3）经n段校正后，就可以得到由1、2、3、.n 连接起来的校正近似直线：U校=K2*xi,由图可得U实i 段直线方程为：,U i 为该段的初始值，Ki为i段直线斜率。相应于U校i 的第i段的直线方程为：,8.4 非线性补偿,8.4.4 分段非线性补偿算法,ai为 i 段与 i 段的初始值之差。,令第i段与i段的斜率之差为K，即Ki=K1iK2i,由 上三式得:,非线性补偿分段校正法,4）非线性补偿硬件实现方法,（1）变换：将 ，代入上式得：,（2）通过以集成运算放大器为核心的电路来实现。,非线性补偿硬件实现方法,（8-2-63）,【例】：8段输出校正补偿电路,8.3 非线性补偿,8.3.4 分段非线性补偿算法,