一种CEEMDAN联合双树...紫外-可见光谱去噪算法研究_汪仁杰.pdf

第 卷，第期 光谱学与光谱分析 ，年月 ，一种 联合双树复小波的水质紫外可见光谱去噪算法研究汪仁杰，冯鹏，杨兴，安乐，黄盼，罗燕，何鹏，汤斌，重庆大学光电技术及系统教育部重点实验室，重庆 重庆市光纤传感与光电检测重点实验室，重庆 成都理工大学计算机与网络安全学院，四川 成都 摘要紫外可见吸收光谱法测量水质化学需氧量（），本质是对大量水质光谱数据建模，以此模型为基础引入待测的水质光谱数据进行预测的过程。而实测的邻苯二甲酸氢钾 标准溶液在 存在两个特征吸收峰，标准溶液在不同浓度下的峰值也不同，利用此特性对该波段进行特征波长的选择，用其表征光谱信息，降低数据冗余度的同时提高了预测精度。针对实测水质光谱信号容易受到仪器本身和外界干扰，光谱数据存在大量非平稳噪声，且特征吸收峰及其临近信号频率较高，常规去噪算法直接舍弃高频信号以及无法准确判断信噪分量界限，导致有效信号缺失这一实际问题。提出了一种基于完全自适应噪声集合经验模态分解（）和双树复小波变换（）的联合去噪算法。该联合算法利用 将信号分解为本征模态函数（），并通过归一化自相关函数和互相关系数进行线性相关性分析，得到各阶 分量之间的自相关性以及 分量与原始信号的互相关系数，以确定高频含噪分量与低频信号分量的界限；进而应用 阈值去噪算法对含噪高频 分量进行处理，将 处理之后的 高频分量与 分解得到的 低频分量进行信号重构，获得最终去噪后的水质光谱信号。实验结果表明：基于 联合双树复小波变换的去噪算法适用于紫外可见光谱水质检测的数据处理。对于化学需氧量 标液为 的邻苯二甲酸氢钾溶液，将实测的紫外可见光谱数据应用该算法去噪后的 ，不仅去噪效果显著优于 和双树复小波阈值算法，还有效地保留了原始 标液的吸收特征峰，遏制了平移敏感性现象，提高了重构信号的平滑度，改善了重构信号质量。为紫外可见光谱法检测水质 提供了一种新的数据预处理方法。关键词水质检测；紫外可见光谱；完全自适应噪声集合经验模态分解（）；双树复小波变换；相关分析中图分类号：文献标识码：（）收稿日期：，修订日期：基金项目：国家 自然科学基金青年科学基金项目（），重 庆市研究生科研创新项目（），重 庆 市 自 然 科 学 基 金 项 目（）资助作者简介：汪仁杰，年生，重庆理工大学现代光电检测技术与仪器重点实验室硕士研究生 ：通讯作者 ：；引言随着我国工业化和城镇化规模的的不断扩大，水环境污染问题愈发严重。因此对水体环境水质进行检测和监测，实现实时预警，已尤为迫切。目前，化学需氧量（，）是用以评估水体有机污染程度应用最为广泛的指标，其被定义为由强氧化剂（如重铬酸盐、高锰酸盐）氧化水体中还原性物质所消耗的氧的当量。数值与污水的有机物污染程度成正比，数值越大，对水环境的破坏越严重。国标法规定检测 的方法主要为重铬酸钾氧化法和高锰酸盐指数法，虽然检测精度较高，但化学方法存在操作复杂、测量周期长、产出废液等缺点。近年来，采用紫外可见光谱法进行水质 检测已成为研究热点，这是一种无需化学试剂、无二次污染的绿色无损检测技术，受到国内外广泛关注。实测水质光谱信号会受到来自于光源、光路、光电转换器件、外界干扰等多个方面的噪声影响，严重影响光谱信号特征峰的定位与识别，降低水质预测模型的准确性和适应性。近年来，不少国内外学者在拉曼光谱、近红外光谱去噪领域有着广泛深入的研究。李卿等采用经验模态分解（，）方法，不失真分解和重构拉曼光谱信号，相比传统小波变换，具有自适应性，无需人为选定小波基、阈值和分解层数，但易引起模态混叠和端点效应等问题；等提出了总体经验模态分解（，）的方法，缓解了 模态混叠的问题，但增加了计算时间；等提出了互补集合经验模态分解（，），进一步减弱模态混叠效应且提高了计算效率；等也对 进行了改进，提出了完全自适应噪声集合经验模态分解（，），具有更好的模态频谱分离和更高的计算效率，同时也克服了 的虚假分量缺陷；等为了消除可见光与红外 光 谱 噪 声，提 出 了 基 于 改 进 双 树 复 小 波（，）的光谱去噪算法，相比传统小波具有近似平移不变性和抑制模态混叠的优点，但该方法仅能去除高频噪声，无法去除混杂在低频的细节噪声。对于水质预测模型，紫外可见光谱数据 波段的两处特征吸收峰可以表征 以上的光谱信息，其核心就在于对其特征峰进行建模。然而特征吸收尖峰及其邻近信号频率极高，常规去噪方法难以有效划分信噪分量分离点，因此导致 解算的偏离。本研究提出了一种 联合 的去噪方法。具有很好的模态分离特性和信号完备性，可以将实测信号分解为频率从高到低的一系列本征模态函数，噪声分量在其前阶高频分量当中；但是前阶同样含有少量的有用信号，因此引入双树复小波，对前阶高频分量再次进行信号提取，在消除或减弱光谱噪声的同时，利用 的平移不变性以保证谱峰位置 检 测 的 准 确 性，进 一 步 提 升 水 质 光 谱 数 据 的 信噪比。算法原理 理论及去噪算法 以集合经验模态分解（）为基础，将 分解得到的每一阶本征模态函数分量（，）添加自适应白噪声，并计算唯一的残差信号以获取固有模态函数。定义符号 为集合平均得到的模态分量，（）表示通过产生的第个模态分量，（）为满足（，）分布的高斯白噪声信号，设待处理光谱信号为（），包含以下步骤：对原始信号（）添加不同的高斯白噪声（），则原始信号变成（）（）（），表示噪声标准差，用方法对集合中每一个合成信号（）进行次分解，对其进行集合平均获得一阶 分量，见式（）（）（）（）去除原始信号中的模态分量，得到第一个残差信号（），表示为式（）（）（）（）（）对信号（）（）进行次分解，获得二阶 分量，见式（）（）（）（）（）对于，计算阶残差分量，见式（）（）（）（）（）提取信号（）（）的阶 分量，求出阶模态分量，见式（）（）（）（）（）重复步骤，直至残差信号分量为单调函数，不能再分解为止，最终可得到个本征模态函数，最后的残差信号，见式（）（）（）（）（）即原始信号（）可以表示为式（）（）（）（）（）从 方法的原理看出，可以将光谱信号模态分解成频率从高到低的一系列 分量，相比 具有更好的模态频谱分离能力，进一步改善模态混叠效应和避免虚假 分量。其中随机噪声主要分布在前几阶高频分量中，然而仍旧没有明确的方法来确定 信噪分量分界点。在去噪研究中，常用来判定信号分量与噪声分 量 的 方 法 有 排 列 熵、熵 等，本 研 究 将 对 分解后的各阶 分量与原始信号进行相关性分析来确定。相关性原理判定与计算熵值相比，不仅噪声层级精确，而且更具简易性，相关系数公式见式（）（）（）（）（）（）（）式（）中：为信号长度，（）代表第阶 分量与原始信号（）之间的相关系数。计算得到各阶 分量的相关系数后，绘制出相关系数的关系图。信号的高频噪声分量阶数与相关系数存在一定的规律：当含噪信号（）信噪比非常大时，设分解的 分量为阶，第阶处相关系数均较小，从阶起相关系数会突然增大，且阶总体呈上升趋势，此时可以认为阶为噪声分量。最后直接舍弃掉前阶高频 分量，将阶 分量重构，得到去噪后的信号。双树复小波变换（）理论及去噪算法针对实小波变换不具有平移不变性和频率混叠的缺陷，在 年提出双树复小波变换（）。相较于实小波变换，特有的抗频率混叠和平移不变性等特点，在信号滤波降噪等方面优于许多时频分析方法。是两路并行的实小波变换结构，即实树和虚树，进而实现对信号的分解以及重构。在信号分解与重构时，使实树采样点比第期 汪仁杰等：一种 联合双树复小波的水质紫外可见光谱去噪算法研究虚树采样点相隔一个采样周期，让虚树的采样点在实树之间，正好采集到实树因隔点采样丢失的采样值，达到充分利用双树的小波分解系数的目的，实现信号平移不变性，减少有用信号的丢失。基于双树复小波变换（）去噪算法：含有大量非平稳噪声的紫外可见光谱信号经过双树复小波变换后，有效信号分量大多数包含在小波系数的低频部分，含噪信号分量基本在高频部分。在信号分解过程中，设定一个合适的阈值，将低于该阈值的小波系数全部置零，将高于设定阈值的小波系数保留，最后进行小波逆变换得到重构后的信号。阈值的选取方法主要有硬阈值法和软阈值法两种，由于软阈值的去噪方法在连续性和去噪效果上优于硬阈值方法，因此采用软阈值的处理方法。软阈值表达式（）（）（），（）式（）中，为全局阈值，其表达式为式（）（）（）为阈值处理后的小波系数，为小波系数，为信号长度，为噪声标准差。信号经过软阈值法处理后，能够最大程度地保留信号有用成分，达到去噪目的。基本步骤是：将原始信号进行双树复小波变换，设定分解层数，对信号进行分解，得到一组系数；应用软阈值法选取合适的阈值，确定信噪分量的界限，对每层含噪高频系数进行阈值处理；对信号进行重构：将阈值处理后的高频系数与未处理的低频系数进行重构，得到最终的去噪信号。联合 的光谱去噪算法对于实测水质紫外可见吸收光谱，位于 之间第一和第二特征吸收峰包含了吸收光谱的绝大部分信息，但吸收尖峰及其临近频率极高，传统的去噪方法难以做到信噪分离的同时保证吸收峰的信号完整性。方法相比 具有良好的抗模态混叠和克服虚假分量的特点，且计算效率大大提高，当含噪光谱信号中包含较小幅度的有效信息时，采用 分解原始信号得到的本征模态函数，采用相关性分析分离出高频含噪分量和低频信号分量，若直接舍弃高频含噪分量去噪会造成高频噪声压制不完全或高频有效信号损失。双树复小波变换相比传统小波，具有良好的平移不变性和抗频率混叠的特性，处理后的信号波形较为平滑，且使得水质光谱信号去噪前后不会出现基线漂移 等 现 象。鉴 于 此，提 出 了 将 和 联合的方法，通过互补的方式解决上述去噪过程中的问题。针对 分解出的前阶高频 分量中可能含有较小幅度的有用信号，采用 对前阶高频 分量进行再去噪，最终将 处理后的高频 分量与 分解的未处理 分量重构得到去噪后的光谱。该联合算法保证了光谱吸收特征峰在横纵向同时满足良好的完备性，进而保证水质预测模型的准确性。同时，因 算法和 算法均具有较少的冗余性和良好的鲁棒性，使计算效率大大提高，更适用于水质在线监测。算法流程和伪代码图如图。联合去噪算法的基本流程分为三个步骤：对原始信号进行 分解，得到各阶 分量；对 分量进行相关性分析，根据相关系数大小确定含噪 分量和信号 分量的界限；由于前几阶高频分量中仍含有少量细节信号，将确定为噪声分量的前几阶 分量分别进行 软阈值提取细节信号，然后小波逆变换得到重构后的 分量；将步骤中处理之后得到的重构 分量与中未处理 分量再次进行重构，得到最后的去噪信号。结果与讨论 实验设置紫外可见吸收光谱法的水质检测系统如图所示。为了验证所提出算法的理论可行性，分别采用（）海洋光学（型号：）光 谱 仪 和（）超 微 光 学（型 号：）光谱仪：（）为标准光谱对照组，测量波段 ，测量 个点；（）为原始光谱实验组，测量波段 ，测量 个点。为了排除多余的可控变量，实验除光谱仪型号不同外，其余实验条件均保持一致：采用氘卤灯组合式光源（型号：）作为光谱发生器，波长范围为 ；相同的光路结构（支架型号：），光程为；石英比色 皿（型 号：光 亮 高 科 ），容量 ，光 程；采用抗紫外光纤（型号：），长度为；本实验所用样本溶液为一组邻苯二甲酸氢钾 标液，浓度为 。将上述仪器设备按照图搭建实验系统，两组光谱仪分别对样本溶液进行 次测量，光谱仪采集软件设置积分时间 。紫外可见光谱波段在 ，因此截取两组光谱仪 区间的光谱数据为有效数据区间。图（）为海洋光学 光谱仪所测一组吸收光谱图，图（）为超微光学 光谱仪所测吸收光谱图。对于两组光谱仪对照实验，实测 标液的吸收光谱在 之间出现两个特征吸收峰，如图（，）。为了仔细观察两个吸收特征峰的波形，将两组光谱仪在 的光谱信息放大，如图（，）。可以明显观察到 的吸收光谱的第一特征峰出现较多毛刺和尖峰，的曲线较为平滑且在特征峰位置无较多干扰信息，两组光谱仪的第二特征吸收峰波形均平滑且高信噪比。以 的测量结果作为标准光谱信号，将实测的 吸收光谱数据分别用 分解、阈值及本研究算法去噪处理。为了定性定量地分析光谱学与光谱分析第 卷图联合算法去噪流程及伪代码图 图紫外可见光谱法水质检测系统框图 实验结果，引入去噪效果评价指标：信噪比（，）、均方根误差（，）、波形相似度（，）和峰值信噪比（，）。去噪后的 越大，说明去噪效果越好；表示原始信号与去噪后信号之间的方 差 平 方 根，越 小 测 量 精 度 越 高；反 映 的 是 去噪光谱与 标准光谱的波形差异，差异越小，证明去噪效果越好；则 指三种去噪算法结果与 的标准光谱作对比，越大，表明去噪之后的特征峰信息保留更多，去噪效果越好。信噪比见式（）（）（）（）（）第期 汪仁杰等：一种 联合双树复小波的水质紫外可见光谱去噪算法研究图 原始信号（）和 原始信号（）（）（）图 原始信号（）和 原始信号（）对比 （）（）波形相似度见式（）（）（）（）（）（）均方根误差见式（）（）（）（）峰值信噪比见式（）（）（）（）（）式（）式（）中，（）为原始光谱信号，（）是去噪后的光谱信号，其中，为信号长度。（）表示信号（）的最大值。相关系数计算通常噪声频率高于信号频率，随机噪声主要分布在阶次较低的高频分量内，信号主要位于阶次较高的 分量中，确定噪声与信号在 各阶分量占比的临界阈值尤为重要。根据信号和噪声相关性质的不同，通过各阶 分量的自相关函数以及原始信号与各阶 分量之间的相关性来确定临界阈值。通过 分解得到频率从高到低的一系列 分量，如图。图 分解的 分量 相关函数（）表示信号（）在时刻的自相关值，表征信号在不同时刻的相似程度。（）则表示归一化的自相关系数（）（）（）（）光谱学与光谱分析第 卷（）（）（）（）式（）和式（）中，为采样点的个数，表示时间差。对于背景噪声，具有不确定性以及在不同时刻的弱相关性，其自相关函数曲线变化陡峭；而对于有效信号，其信号序列存在着一般变化规律以及明显的强相关性，因此有效信号的自相关函数曲线波动缓慢。实验发现，虽然两者都是在零点处取得最大值，但是背景噪声自相关函数的衰减速度显著大于有效信号的衰减速度。图罗列了前项 分量的自相关函数。由图各自相关函数曲线可以看出，阶 分量虽然在零点处取得了最大值，但是在临近频率存在迅速衰减到很小的值的现象，可以初步判定前阶 分量为噪声分量。然而依据自相关函数波形来判断信噪分量分界点，存在一定的主观性。因此再次求得各阶 分量与原始信号的互相关系数来佐证上述结论，如图所示。图前阶 归一化自相关函数 图各阶 与原始信号的相关系数 由图可以看出，阶 分量与原始信号的相关性较低，均小于 。阶总体呈上升趋势，且均大于 。当相关系数小于 时，可以判断该 分量为噪声主导序列，所以判定阶为噪声分量。实验结果联合算法和单一去噪算法去噪的实验结果如图（，）所示。图三种去噪算法去噪前后对比（）：去噪；（）：软阈值去噪；（）：联合去噪 （）：；（）：（）；（）：由图（）不难看出，的去噪效果较差，可以观察到邻苯二甲酸氢钾溶液的第一特征峰还存在高频噪声，波峰中心包含一个窄带尖峰，失真比较严重；第二特征峰经去噪后仅有轻微失真，导致曲线不够平滑，没有最大程度还原特征峰的有效信息；对于 阈值去噪 见图（），在处理特征峰时，均达到了较好的效果。但原始信号的第二第期 汪仁杰等：一种 联合双树复小波的水质紫外可见光谱去噪算法研究特征峰信噪比极高，几乎没有噪声，但实际去噪效果却反而降低了其峰值信噪比。分析认为软阈值处理时将第二特征峰的部分 有 效 信 息 当 作 高 频 噪 声 滤 除 见 图（）；基 于 和 软阈值的去噪算法最佳，第一、二特征峰均不存在失真现象，较好地还原了 标液的光谱吸收特征。三种方法去噪后的信噪比、均方根误差等参数如表所示。通过对比发现，本算法在保留紫外可见吸收光谱的吸收特征下，提高了信噪比，减小了均方根误差，并具有最高的波形相似性。表不同去噪效果的比较 由去噪对比图和表中可以看出，吸收光谱在三种方法处理之后的波形曲线均比较光滑，噪声大大降低，联合 软阈值的去噪效果最好，信噪比最高且均方根误差最小，波形相似度与 标准光谱差异最小，峰值信噪比达到最高。因三种方法的去噪效果均较好，各个评价指标的数值差异不大，为了防止偶然事件发生，采用多次波形相似度测量取平均结果的论证方法，图是 次测量取平均的结果。结果表明，去噪、去噪、本算法去噪均获得了较好的去噪效果，波形相似度均在 以上。相对而言，本算法去噪的波形相似度最高，去噪效果最好，可有效抑制 光谱仪的随机噪声。图 测量 组平均结果 结论去噪是水质光谱检测中必不可少的步骤。针对所采集光谱信号的非平稳性，本文提出了 和 联合的去噪算法，并应用到水质检测系统中的紫外可见光谱数据的预处理研究。该方法针对 分解之后的高频 分量中含有少量的信号分量，采用自相关性和互相关系数来判别含噪高频 分量，并对含噪高频 分量再次进行 软阈值处理，以获得更加细分、噪声更少的高频分量。理论分析和实测数据表明，基于 和 软阈值的去噪算法既能有效抑制光谱信号中的高频噪声，提高了信噪比，又能保持原始水质吸收光谱信号中的特征峰，减少了均方根误差，为水质检测系统的光谱数据去噪预处理提供了一种新的思路。，（漆伟，冯鹏，魏彪）（光谱学与光谱分析），（）：，（齐蒙蒙，韩严和，孙齐）（环境科学），（）：，（）：，（赵友全，王慧敏，刘子毓）（仪器仪表学报），（）：，：，（贾嵘，李涛涛，夏洲）（水利学报），（）：，（）：，（）：，（）：，（李相伯，龚俊，胡丹）（光子学报），（）：光谱学与光谱分析第 卷 ，（）（）（），（），；（，；，）第期 汪仁杰等：一种 联合双树复小波的水质紫外可见光谱去噪算法研究