基于机器学习的水质处理单元预警系统设计与实现.pdf

信息记录材料 年 月 第 卷第 期基于机器学习的水质处理单元预警系统设计与实现李 艳，杨雨霖，杨 光（沈阳理工大学环境与化学工程学院 辽宁 沈阳）【摘摘要要】本文以沈阳市某污水处理厂为实验对象，对污水厂实际数据进行预处理，采用机器学习的回归决策树（）、岭回归（）、近邻（）种算法预测出水水质（、）浓度。采用拟合优度（）、均方误差（）和平均绝对误差（）来评估 种模型，选取表现最佳的算法作为出水水质的预测模型。实验结果表明，算法在预测出水 和出水 指标上表现最好；算法在预测出水 指标上表现最好；算法在预测出水 指标上表现最好。本文在出水水质预测模型的基础上，建立了污水处理出水水质预警系统，为解决污水处理工艺中发生故障处理不及时的问题，提前预测出水水质，以期尽早发现、处理故障，实现污水处理的“事前”预警。【关关键键词词】污污水水处处理理；机机器器学学习习；水水质质预预测测【中中图图分分类类号号】【文文献献标标识识码码】【文文章章编编号号】（）基金项目：沈阳理工大学博士启动资助项目（）；辽宁省博士科研启动基金计划项目（）。作者简介：李艳（），女，辽宁沈阳，博士，教授，研究方向：环境规划与评价。引言污水处理厂是我国生态文明建设和改善水环境质量的重要基础设施。随着对水环境质量重视程度的增加，污水处理厂数量和处理能力得到了显著提升。污水处理是一个复杂的过程，涉及多个变量的耦合和非线性生化反应。当污水处理厂发生故障时，出水水质指标可能无法达到标准，从而导致二次污染。因此，解决和实现污水处理系统的故障诊断与识别是一项重要任务。对污水处理出水水质进行预测研究，可以提前发现、隔离和处理故障，从而提高系统可靠性，确保长期稳定运行，这对于保证水处理过程的有效性至关重要。本文以沈阳市某污水处理厂为研究对象，采用回归决策树、岭回归、近邻算法对出水、以及 构建预测模型，采用拟合优度、均方误差以及平均绝对误差评估 种算法，根据评估结果来选取泛化能力最强的模型。同时，构建污水处理工艺的故障预警可视化系统，更科学、更快速、更有效地解决污水处理厂的故障问题。研究对象 某污水厂工艺流程本文以主体工艺为 的沈阳市某污水处理厂为研究对象，设计规模为 ，出水水质执行城市污水处理厂污染物排放标准一级 排放标准。负责处理生活污水以及某工业园区产生的工业废水，主要出水水质指标有、。污水厂设计的进、出水水质指标如表 所示。表 污水厂设计进、出水指标（）项目设计进水水质设计出水水质 数据预处理 数据清洗本文中数据清洗主要是指清洗无效、无价值的污水数据。在污水处理过程中，难免会出现传感器出现噪声等情况。因此，需要检查数据集中是否存在缺失值，即某些数据项未被记录或获取，剔除无效的数据样本，避免无效数据降低机器学习模型的训练效果。数据归一化不同特征具有不同的单位和范围，这会导致某些特征对模型训练的影响更大，而其他特征被忽略。污水处理过程数据存在量纲不一致、特征间的数值差异性较大的情况，为了消除不同量纲差异性带来的影响，加快程序运行时的收敛速度，故将训练集数据和测试集数据分别进行归一化处理。归一化处理后各项污水指标的数据范围被控制在，。具体的标准化公式为式（）所示：（）（）（）（）（）（）式（）中，（）为具有 个特征的样本 在通过归一化处理后的样本；（）为具有 个特征的样本；（）和（）表示特征 的最大值和最小值。出水水质预测算法实现 回归决策树（）决策回归树是采用树形结构对数据进行分类，遍历可用的特征集合，对每个特征进行评估。将数据集划分为 个区域空间，每个划分空间区域都对应一个输出值。回归决策树生成算法如式（）所示：（）（）（）式（）中，代表模型输出的回归树值；代表输入空间划分的 个区域；代表单元数据集；为输入空间划分的第 个单元，即，；代表常数；为每个所属区域的所有样本的均值。对于空间的划分，决策回归树会遍历每个特征，并在该特征上尝试不同的切分点。选择第 个变量作为切信息记录材料 年 月 第 卷第 期分变量和对应切分变量的某个取值，作为切分点（，），从而划分为两个区域 与，将大于 的特征值（）划分至区域，将小于或等于 的特征值（）划分至区域，表示如式（）、式（）所示：（，）（）（）（，）（）（）式（）、式（）中，（，）为切分点；为切分变量；为切分变量对应的取值。在寻找最优的切分点（，）时，需根据误差平方和（）计算，公式如式（）所示：（）（）式（）中，为每个样本的实际观测值，（）为模型对于该样本的预测值。回归决策树在递归时类似于二叉树，即一个父节点有且仅有两个子节点。故要确定最优切分变量（最优初始指标）和它的最优取值（最优初始指标数值）时，就要找到两个区域的代表值 和 使各自区间上的误差平方和（）最小。求解过程如式（）所示：，（，）（）（，）（）（）岭回归算法（）岭回归与普通的线性回归面模型类似，目标都是通过对已知的污水水质数据集进行拟合来预测新的未知数据。不同的是，岭回归通过引入“岭惩罚项”来惩罚模型中某些参数过大的情况，以损失部分信息、降低精度为代价，使获得的回归系数更符合实际、更可靠。具体方式是在原先 的最小二乘估计中，加入一个小扰动，使问题稳定并得以求解，可表示为式（）：（）（）（）式（）中，为岭参数；为单位矩阵。对于岭回归，当岭参数 在 到正无穷内变化时，岭回归系数 是 的函数。是一个向量，由，等多个分量组成，每一个分量都是 的函数，每一个分量画出的曲线被称为岭迹。若岭迹线的不稳定性很强，说明此时用最小二乘法不能很好地反映真实情况，需要根据岭迹线选择一个适当的岭参数 值，以确定回归系数。岭回归的核心思想就是改变误差平方和函数的几何形态使得误差平方和函数存在唯一最小值点。为了方便理解，假设一个简单的二元一次函数 为目标函数，引入“岭惩罚项”，示例如图 所示。近邻算法（）算法的理念为“近朱者赤”，即样本的类别由其最近邻居的类别来决定。近邻算法同样可以应用于分类和回归问题。在回归问题中，算法根据欧几里得距离公式（）寻找离待回归样本最近的 个训练图 引入岭惩罚项后的回归示例样本，然后根据这 个最近邻居的回归目标值进行平均或加权平均，从而得到待回归样本的预测值。欧几里得距离是 算法中常用的距离度量方法之一，用于衡量特征空间中 个样本之间的距离。假设有 个样本 和，特征向量分别表示为（，）和（，），为特征的数量。欧几里得距离公式如式（）所示：（，）（）（）（）（）欧几里得公式表示了特征空间中 个样本之间的直线距离。欧几里得距离越小，表示 个样本在特征上越相似；欧几里得距离越大，表示 个样本在特征上越不相似。在 算法中，值的确定尤为重要。值较大时，意味着模型变得简单；当 值变得较小时，预测结果对近邻的实例点非常敏感。值减小意味着模型变得更复杂，容易发生过拟合。值不同示例如图 所示。图 值不同示例交叉验证法可以有效地评估模型的性能，并帮助选择最佳的参数或超参数。交叉验证的基本思想是将原始数据集划分为训练集、验证集以及测试集。这种方法可以有效地评估模型的性能和泛化能力。具体而言，交叉验证通过多次划分数据集，并使用不同的子集作为训练集和验证集来进行模型的训练和评估。在每次划分中，模型首先使用训练集进行参数的学习和调整，然后使用验证集对模型进行评估和选择最佳参数，最后使用测试集来评估模型的泛化能力，即模型对未知数据的预测准确性。通过多次划分和验证，可以得到模型在不同数据子集上的性能指标的平均值，从而更加可靠地评估模型。交叉验证法数据集划分如图 所示。信息记录材料 年 月 第 卷第 期图 交叉验证法数据集划分 出水水质模型的选择使用 进行程序编写，用其封装好的数值计算与机器学习框架 搭建出水水质预测的实验环境。使用某污水处理厂 年 月 年 月的实际数据作为数据集，每个样本均有 个相同指标：日期、进水流量（）、进水、进水、进水、进水、出水、出水、出水、出水、用电量、水温、厌氧池、缺氧池、好氧池、。经数据预处理后共计 个样本，从数据集中随机抽取（个样本）作为训练集来用于模型的训练，剩余的（个样本）作为测试集来检验模型的有效性。通过 机器学习库分别建立回归决策树、岭回归算法、近邻算法来预测出水水质指标，即出水、出水、出水、出水。本文将对、以及 算法进行评价，采用拟合优度（）、均方误差（）以及平均绝对误差（）综合评价的方法。是衡量回归模型拟合程度的常用指标，其取值范围为 到。越接近，表示模型预测值与真实值之间的拟合程度越好，见公式（）；是衡量预测值与真实值之间差异的平方的均值，越小，表示模型的预测结果与真实值的偏差越小，拟合效果越好，见公式（）；是衡量预测值与真实值之间差异的平均绝对值。越小，表示模型的预测结果与真实值的偏差越小，拟合效果越好，见公式（）。（）（）（）（）（）（）其中，为样本个数，为第 个样本对应的水质指标预测值，为第 个样本的水质指标真实值，为数据集对应的水质指标平均值。在 项出水水质指标的测试集上分别采用、算法进行测试。记录 种算法在测试集上的、以及，根据结果可知，预测出水、采用回归决策树算法表现最好；预测出水 采用 近邻算法表现最好；预测出水 采用岭回归算法表现最好。计算结果如表 所示。表 不同算法在不同出水水质预测指标上的表现情况出水预测指标算法出水 岭回归 近邻 出水 岭回归 近邻 出水 岭回归 近邻 出水 岭回归 近邻 系统设计与实现 需求分析本文从获得实际数据和对可能发生的故障做出快速研判的角度出发，致力于开发一套出水水质预测、数据分析和数据管理等功能于一体的污水处理出水水质预警系统软件，用于为污水处理厂提供有力的科技保证和技术支撑，对于水质模型预测结果为“不达标”的水质样本，进行提前预报预警。对于提高污水处理厂的运行管理，确保污水处理工艺流程稳定高效地运行有着重要的意义。数据管理模块数据管理模块可以实现系统管理者对整个系统的数据库进行（、）操作，包括出水水质预测管理、故障树管理、用户管理等。数据管理界面如图 所示。图 数据管理界面 故障预警模块故障预警模块实现根据进水水质数据以及污水工艺运行中的参数来预测污水出水水质数据，输入数据包括：进水、进水、进水、进水、水温、厌氧信息记录材料 年 月 第 卷第 期池、缺氧池、进水流量以及污泥浓度（）、碳氮比（）、碳磷比（）、污泥负荷（）以及污泥体积指数（）。预测数据包括：出水、出水、出水 以及出水。当预测结果没达到一级 排放标准（见表）时，发出故障预警。故障预警模块见图 图。图 输入故障预警数据图 故障预警结果 数据分析模块数据分析模块实现了当输入规定时间范围时，显示该时间范围内的各项出水指标合格率饼状图，各项出水指标包括：出水、出水、出水、出水。选取 年 月 日至 年 月 日这一时间段，各项出水指标合格率如图 所示。图 出水指标合格率饼状图 结语本文以某污水处理厂为研究对象，采用机器学习算法 对出水水质进行预测，并建立污水处理出水水质预警系统。通过对实际数据的预处理和 种算法（、）的比较评估，选取最优算法来预测不同水质指标。基于出水水质预测模型，设计污水处理出水水质预警系统，当水质不符合设计出水指标时及时进行预警。同时，系统还包括数据管理模块和数据分析模块，可以方便管理者对数据库进行 操作和分析出水指标的合格率。未来，将进一步完善污水处理出水水质预警系统。同时，还将考虑引入更多的影响因素和监测数据，以进一步改进预测模型的性能，为确保污水处理工艺流程的稳定、正常和高效运行提供解决方案，为改善水环境质量做出更大的贡献。【参考文献】鲁明，吴志光 基于模糊故障树和灰色关联算法的 污水系统分析 山东理工大学学报（自然科学版），（）：王俊杰，孙波 基于深度信念网络的污水处理设备故障诊断方法 清洗世界，（）：，马兴冠，石宏瑀，王志毅 智慧污水处理厂的故障诊断及过程控制系统研究 给水排水，（）：董立新 数据和知识驱动的污泥膨胀诊断方法研究北京：北京工业大学，刘杰，李佟，李军 基于改进支持向量回归机的污水处理厂出水总 氮 预 测 模 型 环 境 工 程 学 报，（）：高艳萍，任静，李鹏飞 基因启动子双荧光素酶重组载体构建 中国牛业科学，（）：申媛媛，邬锦雯，刘鑫东 基于 决策树回归的乡村信息化水平测度模型研究 科技管理研究，（）：潘栋，陈荣章 基于岭回归的上海地区大众品牌二手车价格预测模型 上海汽车，（）：，乔俊飞，孙玉庆，韩红桂 改进 算法优化 神经网 络 的 出 水 氨 氮 预 测 控 制 工 程，（）：关伟，李先通 一种基于 近邻和多元回归的传感器缺失值预测算法 公路交通科技，（）：（上接第 页）冷迪 企业数据中心超融合架构的特点和发展趋势研究 科技创新与应用，（）：徐鸿乾，郑军 基于超融合虚拟化技术的广电数据中心构建实践 广播与电视技术，（）：毕红棋，陈露 基于超融合架构的智慧校园双活数据中心建设研究 教书育人（高教论坛），（）：吴旨竞 混合云存储在高校中的应用研究与分析 电脑知识与技术，（）：，刘勇，陈云峰，郝璐瑶 基于云计算的高校数据中心设计与实现 微型电脑应用，（）：