主成分分析在温室气体时序红外光谱处理中的应用研究_王钰豪.pdf

第 卷，第期 光谱学与光谱分析 ，年月 ，主成分分析在温室气体时序红外光谱处理中的应用研究王钰豪，刘建国，徐亮，邓亚颂，沈先春，孙永丰，徐寒杨中国科学技术大学环境科学与光电技术学院，安徽 合肥 中国科学院合肥物质科学研究院，安徽光学精密机械研究所，中国科学院环境光学与技术重点实验室，安徽 合肥 摘要傅里叶变换红外光谱技术可同时测量多种温室气体组分的浓度。仪器噪声和谱线重叠效应会对光谱数据的质量产生影响，从而影响各组分反演浓度的结果。针对上述问题，使用不同数量的主成分对时序测量光谱矩阵进行重建，并将重建光谱矩阵与原始光谱矩阵之间的欧式距离和余弦距离作为动态选择主成分数量的判据，重建时序测量光谱，从而提高时序光谱数据的质量。采用该方法分别对数值仿真光谱、标准气体测量光谱和外场实验测量光谱进行了处理。结果表明，叠加 噪声的数值仿真光谱经过光谱重建后，光谱的结构特征未明显改变，重建光谱与原始光谱之间的残差标准差为 ，有效降低了测量光谱中噪声的影响。采用该方法对标准气体的平均测量光谱进行了重建，并比较了重建光谱与平均光谱的反演浓度精度。平 均 测 量 光 谱 反 演 各 组 分 浓 度 的 精 度 为：、：、：和：；平均测量光谱反演各组分浓度的精度为：、：、：和：；重建光谱反演各组分浓度的精度为：、：、：和：；重建光谱反演各组分浓度的精度为：、：、：和：。利用重建光谱进行反演能够显著提高气体反演浓度的精度，重建光谱反演浓度的精度结果能够达到的扩展测量精度要求。在外场实验中，重建光谱反演 得到的浓度与 平均光谱反演得到的 浓度的相关系数可达到 。综合分析可知，对 时序光谱数据进行主成分动态选择不仅降低了时序测量光谱中噪声的影响，而且有效保留了时序测量光谱的特征变化信息。关键词傅里叶变换红外光谱；主成分分析；光谱降噪；温室气体中图分类号：文献标识码：（）收稿日期：，修订日期：基金项目：国家自然科学基金专项项目（），安徽省重点研发计划（），国家自然科学基金项目（）资助作者简介：王钰豪，年生，中国科学技术大学环境科学与光电技术学院博士研究生 ：通讯作者 ：引言在过去几十年间，的浓度持续增长，从 年的 逐渐增长到 年的 ，增长了约；和 这两种温室气体的浓度持续快速增长，浓度从 年的 增长到 年的 ，增长了约；的浓度从 年的 增长到 年的 ，增长了约。这些温室气体的浓度发生了显著变化，直接影响了温室效应、生态环境和人类生活。傅里叶变换红外光谱（，）技术广泛应用于温室气体监测，具有多组分同时测量的优势。然而，随机噪声等因素会对测量结果产生影响，因此在数据分析之前，通常需要采用合适的光谱数据处理 方 法，提 高 光 谱 数 据 的 质 量，。等采用固定的主成分数量来降低噪声的影响，以提高光谱信号的质量，但可能会丢失一些重要的细节信息。等采用盲估计方法对光谱数据进行处理，有效减小光谱中的噪声并保留光谱细节，但处理结果会受到一些随机因素的影响，如起始点的选择、收敛速度等。等采用累加平均法对光谱数据进行处理，可以降低随机噪声的影响，但该方法需要对多个光谱信号进行累加，因此需要较长的时间来获取足够的数据，一定程度降低了反演浓度数据的时间分辨率。等 采用机器学习方法处理光谱数据，能够去除各种类型的噪声，同时在大规模数据处理方面效率高，但对于不同的应用场景，需要针对性的数据处理和算法调整。不同的光谱数据处理方法适用于不同类型的数据结构、数据质量和应用领域。针对具有高维度和时序相关性强的 时序光谱测量数据的处理，提出了一种动态选择主成分的时序光谱数据处理方法。在某些情况下，该方法不仅可以提高光谱数据的质量，也不会降低反演浓度数据的时间分辨率，但受限于主成分分析自身的局限性，动态选择主成分的方法也不适用于气体浓度显著变化的场景。主成分动态重建法建立的依据及过程仪器测量得到的吸光度（）可以表示为种组分在频率处的吸光度与随机测量误差（）之和，如式（）所示。（）（）（）（）（）式（）中，（）是测量得到的吸光度；是第个组分的浓度；是光程；（）是第个组分的吸收系数；（）是仪器线型函数。按时序测量得到的光谱数据可以用矩阵（倾斜大写字母）表示，如式（）所示。（）式（）中，是的样本矩阵，即个频率，次测量得到的吸光度矩阵；是种物质，次测量得到的浓度矩阵；是个频率，种物质系数形成的矩阵；是个频率，次测量的随机误差形成的误差矩阵，其中，随机测量误差主要包含仪器噪声和环境噪声。主成分分析（，）通过正交变换将存在相关性的时序光谱样本矩阵转换为一组线性不相关的数据，可以通过计算协方差矩阵的特征值和特征向量来实现。首先，对时序光谱样本矩阵进行中心化处理，如式（）和式（）所示。?（）?（）式中，?是样本矩阵列分量的均值；是样本矩阵的元素；是中心化处理后的矩阵，由样本矩阵的每个元素减去列分量的均值得到。需要注意的是，在中心化处理前，是否需要对数据进行标准化处理，取决于数据的质量。然后，计算中心化后矩阵的协方差矩阵和其对应的特征值和特征向量，如式（）和式（）所示。（）（）式中，是协方差矩阵；是特征向量；是特征值。时序光谱样本矩 阵 经 过 变 换 后，每 一 列 都 被 表 示 成 一 组 主 成 分（），每个主成分都是原始数据中的一种线性组合。最后，将时序光谱样本矩阵的数据映射到前个主成分张成的子空间，得到降维后的矩阵，如式（）所示。（）式（）中，是投影后的矩阵；是前个主成分组成的矩阵。基于 数据库的谱线参数，利用数值仿真分别获得不同 浓度下的透过率光谱，其中 的浓度分别为 、和 ，光谱分辨率为，温度为 ，压强为 ，噪声为 ，光程为。用一个（本例 ）的矩阵表示上述数值仿真光谱数据，其中与仿真光谱数量有关，与波数范围及光谱分辨率有关，每一行是一组数值仿真数据，每一列是每个频率下的数据点。使用不同数量的主成分分别对数值仿真光谱矩阵（）进行了重建，并将第一行数值仿真光谱数据与其重建光谱数据进行了比较，结果如图（）和（）所示。图利用不同主成分重建获得光谱和原始光谱的对比结果（）：不同主成分重建获得的光谱；（）：重建光谱和原始光谱的差值光谱 （）：；（）：光谱学与光谱分析第 卷由图（，）可知，利用不同主成分获得的重建光谱有所区别，重建光谱与原始光谱之间也有一定的差异。使用数值仿真光谱数据和重建光谱数据之间的欧氏距离和余弦距离来定量比较两者之间的相似度和差异，其计算如式（）和式（）所示。（）（）（）（）（）（）式中，是欧式距离；是原始光谱数据；是重建光谱数据；是光谱的数据点个数；是余弦距离，用来分析重建光谱是否发生了波数漂移。表中列出了不同数量的主成分对应的方差解释率、原始光谱与重建光谱的欧式距离和余弦距离以及利用重建后的吸光度光谱反演得到的 浓度。由图（，）和表可知，当主成分数量过少时，原始数据的信息会有所损失，重建光谱可能会出现失真，反演浓度会出现较大误差；当主成分数量过多时，重建光谱与原始光谱几乎无差别，无法减小原始数据中的噪声或冗余信息。因此，使用合适数量的主成分对时序光谱样本矩阵进行重建，可以提高光谱数据的质量。通常，主成分方差解释率的累计和是选择合适主成分数量的重要依据，。但气体浓度非显著变化的场景下，噪声和气体浓度变化导致的时序光谱样本矩阵的主成分方差解释率的累计和变化很小，其不是作为主成分数量选择的最佳依据。因此提出了一种将欧式距离和余弦距离作为判据，来动态选择主成分数量，以对时序光谱进行重建的方法。其具体步骤如下：步骤一：采用 系统对环境空气样本进行测量，获得时序光谱数据，并对其进行基线校正等预处理后，汇总形成测量数据集；步骤二：将测量数据集进行分块，并对每个光谱数据矩阵进行标准化处理；步骤三：对标准化处理后的光谱数据矩阵进行主成分分析，得到载荷矩阵；步骤四：依次选择载荷矩阵中的主成分对光谱矩阵进行重建，从而得到重建光谱矩阵；步骤五：计算原始光谱数据矩阵与重建光谱矩阵的欧氏距离 和余弦距离 ；步骤六：将 计 算 得 到 的 欧 氏 距 离 和 余 弦 距 离 与实际测量或数值模拟计算得到的阈值进行对比，根据对比结果，选择欧氏距离和余弦距离最接近阈值的重建光谱矩阵，用来重建每条时序测量光谱。将此方法称为主成分动态重建法。表不同数量的主成分对应的方差解释率、原始光谱与重建光谱的欧式距离和余弦距离，以及通过重建吸光度光谱反演得到的 浓度 ，（）（）（）结果与讨论 主成分动态重建法应用于数值仿真光谱基于 数据库的光谱线参数，采用数值仿真方法获得透过率光谱。数值仿真参数设置为：（）组分浓度：、和 ，（）光谱分辨率：，（）光程：，（）温度：，（）压力：。图（）展示了数值仿真得到的原始光谱（黑色实线）和添加 噪声后形成的噪声光谱（红色点划线）。使用主成分动态重建法和累加平均法分别对噪声光谱进行处理，得到重建光谱（蓝色划线）和平均光谱（绿色短划线）。其中，表示用于主成分分析的时序噪声光谱的个数，即每个噪声光谱形成一个矩阵，根据合适的主成分数量进行光谱重建。为满足 时间分辨率的测量要求，的最大值被设定为。为更清晰地对比各光谱，将噪声光谱向上偏移了 个单位刻度，重建光谱向上偏移了 个单位刻度，平均光谱向下偏移了 个单位刻度。图（）为噪声光谱、重建光谱和平均光谱分别与原始光谱的差值光谱，其中，噪声光谱与原始光谱的差值标准差为 ，平均光谱和重建光谱与原始光谱的差值标准差分别为 和 。结果表明，累加平均法和主成分动态重建法均能有效降低测量光谱中噪声的影响，而不改变光谱的结构特征。主成分动态重建法应用于标准气体样品测量光谱使用自主研发的 测量系统，对标准气体进行测量，获得每一分钟（累加 次单次测量光谱）和每五分钟（累第期王钰豪等：主成分分析在温室气体时序红外光谱处理中的应用研究图各光谱的对比结果（）：各光谱谱图的对比；（）：处理后光谱与原始光谱的差值光谱对比 （）：；（）：加 次单次测量光谱）的平均测量光谱。该系统的光程为，探测器采用的是液氮制冷 探测器。在实验中，将温度控制器设定为 ，进气流速设定为 ，怀特池内置的温度传感器和压力传感器，实时对气体样本的温度和压力进行监测，并使用干燥氮气以 的流速对怀特池的外光路进行持续吹扫。对每一分钟和每五分钟的平均测量光谱进行光谱重建，获得每一分钟的重建光谱（）和每五分钟的重建光谱（）。在 （这一波段用于反演、和）和 波段（这一波段用于反演），使用标准光谱分别对 测量光谱、测量光谱、重建光谱和 重建光谱进行非线性最小二乘拟合，得到各气体组分的反演浓度，并计算反演浓度的精度结果，如表所示。表标准气体样品测量光谱及重建光谱反演得到的精度结果 （）（）（）（）由表可知，平均光谱反演各组分浓度的精度显著高于 平均光谱反演各组分浓度的精度，反演浓度的精度提升了约，、和 反演浓度的精度均提升了 左右；重建光谱反演各组分浓度的精度也高于 平均光谱反演各组分浓度的精度，反演浓度的精度提升了约，反演浓度的精度提升了约为，和 反演浓度的精度提升了。重建光谱比 平均光谱反演得到的、和 浓度的精度提升更优，而浓度的精度提升略低。分析认为主成分动态重建法和累加平均法处理多组分的谱线混叠及测量噪声 的 效 果 不 同，其 中 主 成 分 动 态 重 建 法 可 更 好 地 减 小 内、和 谱线相互混叠的影响，而累加平均法可更好地减小 内光谱噪声的影响。重建光谱反演各组分浓度的精度最高，可满足扩展测量的精度要求。主成分动态重建法应用于外场观测实验 年 月，在中国科学院安徽光学精密研究所综合实验楼的楼顶，开展了连续测量实验。实验地点距离地面高约，周围没有长期工业污染源。在实验过程中，气泵抽取环境气体样本进入怀特池，自研 系统对气体样本进行连续测量，获得每一分钟和每五分钟的平均光谱。利用主成分动态重建法对每一分钟平均光谱进行重建，获得重建光谱。使用标准光谱分别拟合平均测量光谱和重建光谱，得到 的浓度，结果如图所示。图外场测量数据的 反演结果 在时时，人类活动较少，底层大气相对稳定，测量得到的 浓度整体较低且波动较小。时时，人员和车辆增多，局部污染排放增加，浓度明显上升，并在时 分达到峰 值。上 班 高 峰期结束，受风和自然扩 散 的 作 用，浓度明显下降，并最终趋于平稳。平均光谱、光谱学与光谱分析第 卷 平均光谱与 重建光谱反演得到的 的浓度变化趋势都能明显反映污染程度的变化过程。平均光谱、平均光谱和 重建光谱反演得到的 浓度的标准差分别为 、和 。平均光谱反演得到的 浓度比 平均光谱反演得到的 浓度整体波动更小。这是由于更长时间的累加平均，一方面减小了噪声对 浓度反演结果的影响；另一方面不能完全获取 浓度在短时间内的快速变化信息。而 重建光谱反演得到的 浓度与 平均光谱反演得到的 浓度的线性拟合结果如图所示，两者的图重建光谱反演 浓度和 平均光谱反演 浓度的线性拟合结果 相关系数能达到 。表明重建光谱保留了大多数时序测量光谱的特征变化信息。外场测量中的污染排放来源和程度会随时空变化，时序测量光谱矩阵中的测量信息也会随之变化。使用固定主成分数量进行光谱重建可能不足以满足时序测量光谱处理的要求。因此，需要动态选择合适的主成分数量进行时序测量光谱矩阵的重建，以提高光谱数据质量并保留污染排放信息。例如，在本底大气或大气较为稳定的情况下，通常使用或个主成分进行光谱重建，可以较好地提高光谱数据的质量；但在近地面测量城市大气或工业园区环境空气样本的情况下，由于汽车尾气、工厂排放等因素的影响，一般需要使用或个主成分进行光谱重建。结论提出了一种采用原始光谱和重建光谱之间的欧式距离和余弦距离动态选择主成分数量，对时序光谱数据进行重建的方法。结果表明，在气体浓度非显著变化的场景下，该方法可有效减少噪声的影响，同时保留时序测量光谱的特征变化信息，提高时序红外光谱数据的质量。在标准气体测量实验中，该方法显著提高了各气体组分反演浓度的精度，满足了扩展测量精度的要求。未来，将进一步研究光谱数据矩阵的维度和噪声大小对本方法的影响，并将其与其他光谱数据处理方法相结合，以更有效地适应气体浓度显著变化等多种场景的应用需求。，：，：，（）：，：，（）：，：，（）：，（）：，（）：，（）：，（）：，：，（）：，：，（）：，（）：，：第期王钰豪等：主成分分析在温室气体时序红外光谱处理中的应用研究 ，（），：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，（），；（，；，）光谱学与光谱分析第 卷