基于智能计算的影响河流水质的分类预测-本科毕业论文.docx

基于智能计算的影响河流水质的分类预测摘 要：为了有效地控制和治理河流水体污染，保障水资源的可持续利用，了解水资源现状及发展变化趋势，增加水质预测系统具有十分重要的现实意义。基于影响水体水质的因素众多以及BP网络存在的局限性，建立主成分分析法、BP神经网络、遗传算法结合的水质分类预测模型。本文首先采用主成分分析法进行降维，提高BP网络训练速度。采用遗传算法优化BP网络的参数，优化出全局最优的网络参数，提高水质预测分析的精度。该模型利用太湖某断面的水质指标实测数据进行训练和仿真。研究结果表明：23个指标因素可压缩为15个综合指标，未污染水质的仿真个数为124，预测正确为100，准确率为80.65%；污染水质的仿真个数为44，预测正确为41，准确率为93.18%。总体预测率约为83%。关键词：主成分分析；BP神经网络；遗传算法；水质预测中图分号类： 文献标识码：ABased on Intelligent Computing the Classification of River Water Quality ForecastingAbstract: In order to effectively control and river water pollution control, protection and sustainable utilization of water resources, understanding of situation and development trend of water resources, increasing water quality forecast system has great practical significance. Based on the factors that affect the water quality of many existing limitations and BP network, the establishment of principal component analysis, BP neural network, genetic algorithm classification of water quality prediction model. Firstly, using principal component analysis to reduce the dimensionality and improve the training speed of BP network. BP network using genetic algorithm to optimize the parameters to optimize the global optimum of the network parameters to improve the accuracy of prediction of water quality. In this model, the water quality of Taihu Lake in a section of the measured data for training and simulation. The results show that: compressibility factor of 23 to 15 indicators of composite indicator, the number of uncontaminated water quality simulation 124, 100 prediction is correct, accuracy was 80.65%; pollution, water quality simulation number 44, correctly predicted 41 , accuracy was 93.18%. Overall prediction rate of about 83%.Keywords: Principal components analysis; BP neural network; Genetic algorithm; Water quality prediction 0 引言水资源不仅是一种控制生态环境的基础自然资源和一切社会发展的物质基础，而且是一种战略性的经济资源，是一个国家综合国力的有机组成部分1。随着经济的快速发展，水质污染问题日益严重。为了有效的防治水污染，最近年来在很多重要区域建立了水质自动监测站。但由于水质参数在线监测技术的限制，水质变化趋势的在线预测依旧难以实现。水质预测可用于随机性非点源污染的监控和防治,所以在建立水质自动监测站的同时,增加水质预测系统,对保护水资源和水环境的安全具有十分重要的意义。目前，水质预测模式主要有数理统计预测法、灰色系统理论预测法、神经网络模型预测法、水质模拟模型预测法以及混沌理论预测方法等5大类方法2。其中的BP神经网络模型预测法具有大规模信息处理、分布式联想、自学习及自组织的特点，作为一个高度非线性系统，具有很强的容错功能3，在水质预测、水质评价、模式识别、系统辨识等复杂问题的研究上具有非常好的适用性。实际工作中，由于参与的评价指标众多，并且与水质检测结果之间存在的是非常复杂的非线性关系，所以用主成分分析法作为前处理过程进行样本集的优化与选择。另外，BP神经网络中非线性传递函数有多个局部最优解。寻优的过程与初始点的选取关系很大，初始点如果更靠近局部最优点，而不是全局最优点4，会导致多层网络无法得到最优解。而遗传算法不受搜索空间的限制性假设的约束,不要求连续性,能以很大的概率从离散的、多极值的、含有噪声的高维问题中找到全局最优解。因此，本文将主成分分析法、BP神经网络算法和遗传算法结合，构造出基于水质分类预测的智能计算模型。该模型既能在一定程度上提高处理速度，又能确保水质预测的精度。1 方法1.1主成分分析法(PCA) 主成分分析是利用降维的思想，在保证原有数据信息损失最小的前提下，在各个原始指标相关关系研究的基础上，把多个原始指标压缩为少数几个能反映原问题特征的综合变量指标5。同时，综合指标之间又彼此独立，避免了信息重叠，同时保留了原始指标的主要信息，比原始变量具有某些优越性质，使得在研究复杂问题时更加容易6。假定有n个水质样本，每个样本共有p个指标变量描述，这样就构成了一个np阶的水质数据矩阵。在实际应用中，各指标之间存在着量纲、数量级不同等方面的问题。因此，在主成分分析前，要对数据进行标准化，标准化后的水质数据矩阵为：通过主成分分析法，根据精度分析要求（一般特征值的累计贡献率达8590%），p个原始指标变量综合成m个新指标Z1,Z2,Zm,主成分综合指标的得分矩阵为：其计算公式为：Zi=j=1mejxj其中，ej(j=1,2,m)为对应于特征值j的特征向量的分量，Xj为标准化后的原指标变量值。计算出所需要个主成分值，形成新的综合指标样本集。PCA具体计算步骤参考文献7。1.2 BP神经网络算法BP（Back Propagation）网络是一种按误差逆传播算法训练的多层前馈网络，在人工神经网络的实际应用中，绝大部分的神经网络模型都采用BP网络及其变化形式 8。BP网络是一种具有3层或3层以上的阶层型神经网络，由输入层、一个或多个隐含层及输出层组成，三层BP网络模型如图1所示。输入层接受外界信息, 输出层则对输入信息进行判别和决策, 隐层用来储存知识。图1 三层BP网络模型BP 网络的输入与输出关系是高度非线性映射关系。通过调整BP 网络中的连接权值、阈值和隐层节点数,可以实现非线性分类等问题, 并且能以任意精度逼近任何非线性函数9。BP神经网络在学习过程中由正向传播和反向传播反复交替, 网络得到记忆训练, 当网络全局误差小于给定的值后, 学习终止, 即可得到收敛的网络和相应稳定的权值和阈值10。BP神经网络隐含层节点数的选取相对来说比较困难, 隐含层节点数确定的恰当与否也是影响BP网络性能优劣的关键因素。对于隐含层节点数的确定问题, 大多都是采用经验公式估算或是反复试算尝试的方法来确定11 。Q=输入节点数+输出节点数 +C，C=1,10。 （经验公式）但是，BP网络具有局限性，具体表现在12：非线性网络的误差面比线性网络的误差面复杂得多，问题在于多层网络中非线性传递函数有多个局部最优解。寻优的过程与初始点的选取关系很大，初始点如果更靠近局部最优点，而不是全局最优点，就不会得到正确结果。1.3 遗传算法（GA）为了克服BP神经网络算法的缺陷，实践中已经提出了多种对其改进的新算法，从不同角度对网络进行改进，在一定程度上改进了BP学习算法的性能。通常采用遗传算法优化BP神经网络的参数。遗传算法(Genetic Algorithm, GA)是一种基于自然选择和基因遗传学原理的优化搜索方法。它将“优胜劣态，适者生存”的生物进化原理引入待优化参数形成的编码串群体中，按照一定的适配值函数及一系列遗传操作对各个体进行筛选，从而使适配值高的个体被保留下来，组成新的群体，新群体包含上一代的大量信息，并且引入了新的优于上一代的个体。这样周而复始，群体中各个体的适应度不断提高，直至满足一定的条件为止。遗传算法一般步骤如图2所示。GA具有很突出的优点13：1）GA不是从单个点，而是从多个点构成的群体开始搜索；2）在搜索最优解的过程中，只需要由目标函数值得到适应值信息，而不需要导数等其它辅助信息；3）在搜索过程不容易陷入局部最优极值。图2 遗传算法一般步骤神经网络结构的选择尚无一种统一而完整的理论指导，因此优化网络结构不容易实现，一般只能由经验选定。在应用时，使用擅长全局搜索的遗传算法优化神经网络的权值和阀值，从而弥补BP神经网络结构难以优化的缺陷，优化好的权值和阈值在BP神经网络的应用中同样可以提高最终预测结果的可信度。遗传算法一般过程和基本操作详见参考文献14。1.4 主成分分析法（PCA）、BP神经网络和遗传算法（GA）相结合的模型在水质分类预测中的应用将PCA、BP、GA算法相结合，建立水质检测预测模型，目的是首先应用PCA去除原始样本数据见得相关性，删除其中的部分冗余信息，以降低数据的维数，得到主成分。用得到的主成分作为网络的输入神经元，减少网络输入层的节点数，简化神经网络结构并提高BP神经网络的训练速度，采用GA优化网络参数，提高模型预测率的精度，建立改进模型如图3所示。图3 改进BP神经网络模型改进BP神经网络算法步骤：Step 1：将输入样本X1,X2,Xp进行主成分分析，转化为综合指标Z1,Z2,Zm，（mp）。Step 2: 用遗传算法优化BP神经网络的权值和阈值。Step 3：BP神经网络训练、仿真。根据kolomogorow定理,给定任一连续函数f:UnRm,fx=Y. 式中,U是闭单位区间0,1, f可以精确地用一个3层BP网络实现，并保证了3层网络精确地实现任意连续函数15。所以本次研究选择只有一个隐层的BP网络模型。隐含层数目的确定，目前一般按前文提到的经验公式进行选取。针对本实验，分别随机选取不同的数据进行反复实验，在保证目标和梯度都尽量满足的情况下，8比较合适。输入神经元个数为15, 输出神经元个数为1, 所以最终网络结构为15-8-1。BP神经网络的传递函数包括：PURELIN-纯线性形函数；LOGSIG-对数S形函数；TANSIG-双曲正切S形函数。多层神经网络的隐含层大多采用S形传递函数，这类函数又称为“挤压”函数，因为它们将没有边界限制的输入信号压缩到有限的输出范围内。在传递函数的选取上，需要多次尝试，选取适合自己项目的传递函数。在我们的实验中，将输出值限定在0，1中，输入层到隐层、隐层到输出层的传递函数都选定为logsig比较合适。BP神经网络的训练方法Levenberg-Marguardt(LM)，适用于内存足够的中心型网络。因此在水质预测中运用LM 优化算法可以明显缩短学习时间，提高训练速度。BP神经网络在学习收敛过程中存在收敛速度慢和会出现“局部最小值”的问题。由于水质指标预测具有复杂的输入、输出非线性隐性关系，所以通过大量的样本学习和训练去得到有用的模型是一种比较可行的方法。同时，为了避免BP神经网络的缺点，采用遗传算法优化网络参数，提高网络的准确度是很有必要的。采用遗传算法优化网络权值和阈值，能使网络跳出局部最优，找到全局最优，并且提高网络预测率。3 结果实验数据采用的是:太湖水2003年11月至2009年9月的相关指标检测数据，水质影响因素众多，分别是：COD、pH、NH3-N、挥发酚、TN、六价铬、CODmn、TP、BOD5、TCN、石油类、Cd、总铜、总锌、Pb、Hg、As、Se、F-、硫化物、AS、溶解氧、电导率，总共涉及23个指标变量。采用的以上数据，是因为在此时间段中，太湖暴发了蓝藻事件，对这些数据进行分类预测分析实验，构建水质分类预测模型，对日后预防水污染有重要的实用和研究价值。3.1主成份分析法采用SPSS软件进行主成分分析，23个原样本指标压缩为15个综合指标。主成分分析法过程中的相关系数矩阵如表1所示，特征值与贡献率如表2所示，主成分载荷如表3所示。表1 相关系数矩阵CODpHNH3-N挥发酚TN六价铬CODmnTPBOD5TCN石油类Cd总铜总锌PbHgAsSeF-硫化物AS溶解氧电导率 COD1.00 -0.05 0.33 0.07 0.41 -0.05 0.41 0.28 0.19 0.07 0.18 -0.07 0.00 -0.05 -0.06 -0.08 0.06 0.09 0.31 -0.01 0.01 -0.08 0.29 pH-0.05 1.00 -0.16 0.01 -0.13 0.05 -0.21 -0.15 0.02 -0.06 -0.10 0.17 -0.06 -0.26 -0.03 0.15 -0.09 -0.10 -0.02 -0.09 0.04 0.15 -0.14 NH3-N0.33 -0.16 1.00 0.41 0.66 0.12 0.38 0.45 0.31 0.08 0.11 -0.10 0.20 0.08 -0.03 -0.10 0.22 0.02 0.29 0.14 0.02 -0.12 0.39 挥发酚0.07 0.01 0.41 1.00 0.30 0.50 0.16 0.13 0.10 0.02 -0.04 -0.12 0.34 0.00 0.00 -0.07 0.09 0.04 0.05 0.15 -0.01 -0.06 0.20 TN0.41 -0.13 0.66 0.30 1.00 0.10 0.25 0.44 0.28 0.06 0.01 -0.02 0.09 0.05 -0.06 -0.03 0.09 0.15 0.23 0.11 0.11 -0.03 0.38 六价铬-0.05 0.05 0.12 0.50 0.10 1.00 0.00 0.00 0.04 -0.01 0.00 0.01 0.29 0.00 0.00 -0.01 0.08 0.00 -0.06 0.02 0.00 -0.01 -0.14 CODmn0.41 -0.21 0.38 0.16 0.25 0.00 1.00 0.38 0.54 0.09 0.20 -0.16 0.22 0.01 0.01 -0.07 0.35 -0.03 0.20 0.19 -0.07 -0.12 0.27 TP0.28 -0.15 0.45 0.13 0.44 0.00 0.38 1.00 0.33 0.04 0.00 -0.10 -0.04 -0.02 -0.15 -0.02 0.07 -0.01 0.27 0.27 0.00 -0.09 0.32 BOD50.19 0.02 0.31 0.10 0.28 0.04 0.54 0.33 1.00 0.02 0.12 0.04 0.18 -0.06 0.21 -0.06 0.26 -0.02 0.13 0.19 -0.04 -0.05 0.12 TCN0.07 -0.06 0.08 0.02 0.06 -0.01 0.09 0.04 0.02 1.00 -0.02 -0.01 0.01 0.19 0.00 -0.01 0.00 0.00 0.07 0.03 0.02 0.00 0.08 石油类0.18 -0.10 0.11 -0.04 0.01 0.00 0.20 0.00 0.12 -0.02 1.00 -0.26 0.00 0.04 0.06 -0.05 0.40 -0.02 0.12 -0.05 -0.03 -0.04 0.11 Cd-0.07 0.17 -0.10 -0.12 -0.02 0.01 -0.16 -0.10 0.04 -0.01 -0.26 1.00 0.03 0.11 0.01 0.14 -0.10 0.01 -0.16 -0.12 0.01 0.05 -0.19 总铜0.00 -0.06 0.20 0.34 0.09 0.29 0.22 -0.04 0.18 0.01 0.00 0.03 1.00 0.00 0.02 0.00 0.48 -0.02 -0.26 0.00 0.01 -0.05 -0.16 总锌-0.05 -0.26 0.08 0.00 0.05 0.00 0.01 -0.02 -0.06 0.19 0.04 0.11 0.00 1.00 -0.07 0.00 -0.05 0.06 -0.05 -0.01 0.08 0.04 -0.06 Pb-0.06 -0.03 -0.03 0.00 -0.06 0.00 0.01 -0.15 0.21 0.00 0.06 0.01 0.02 -0.07 1.00 0.05 0.23 -0.01 -0.06 -0.01 0.00 -0.03 -0.11 Hg-0.08 0.15 -0.10 -0.07 -0.03 -0.01 -0.07 -0.02 -0.06 -0.01 -0.05 0.14 0.00 0.00 0.05 1.00 0.02 0.00 -0.36 0.04 0.26 0.45 -0.23 As0.06 -0.09 0.22 0.09 0.09 0.08 0.35 0.07 0.26 0.00 0.40 -0.10 0.48 -0.05 0.23 0.02 1.00 -0.03 -0.08 -0.03 0.03 -0.04 0.03 Se0.09 -0.10 0.02 0.04 0.15 0.00 -0.03 -0.01 -0.02 0.00 -0.02 0.01 -0.02 0.06 -0.01 0.00 -0.03 1.00 -0.04 -0.01 -0.01 -0.01 0.06 F-0.31 -0.02 0.29 0.05 0.23 -0.06 0.20 0.27 0.13 0.07 0.12 -0.16 -0.26 -0.05 -0.06 -0.36 -0.08 -0.04 1.00 0.11 -0.18 -0.30 0.52 硫化物-0.01 -0.09 0.14 0.15 0.11 0.02 0.19 0.27 0.19 0.03 -0.05 -0.12 0.00 -0.01 -0.01 0.04 -0.03 -0.01 0.11 1.00 0.00 -0.01 0.14 AS0.01 0.04 0.02 -0.01 0.11 0.00 -0.07 0.00 -0.04 0.02 -0.03 0.01 0.01 0.08 0.00 0.26 0.03 -0.01 -0.18 0.00 1.00 0.68 -0.03 溶解氧-0.08 0.15 -0.12 -0.06 -0.03 -0.01 -0.12 -0.09 -0.05 0.00 -0.04 0.05 -0.05 0.04 -0.03 0.45 -0.04 -0.01 -0.30 -0.01 0.68 1.00 -0.12 电导率0.29 -0.14 0.39 0.20 0.38 -0.14 0.27 0.32 0.12 0.08 0.11 -0.19 -0.16 -0.06 -0.11 -0.23 0.03 0.06 0.52 0.14 -0.03 -0.12 1.00 从相关矩阵中可以看出：挥发酚和NH3-N之间；TN、COD和NH3-N之间；六价铬和挥发酚之间；CODmn和COD之间；TP、NH3-N和TN之间；BOD5和CODmn之间有较大相关性，故在此实验中，有必要使用主成分分析法。表2 特征值与贡献率特征值贡献率 %累计贡献率%13.9016.9716.9722.269.8526.8131.928.3435.1541.657.1942.3451.416.1348.4861.295.6054.0771.185.1259.2081.054.5863.7891.014.3868.16100.893.8672.03110.833.6175.64120.763.2978.93130.743.2082.13140.632.7584.88150.592.5587.43160.572.4989.92170.472.0591.97180.421.8293.80190.351.5195.31200.331.4196.72210.271.1797.90220.261.1299.02230.230.98100.00从上表可以看出，前15个综合指标已经包含了全部数据87.43%的信息。23个原始数据可用15个综合指标代替。表3 前15个主成分载荷123456789101112131415COD0.55 -0.08 0.21 0.17 0.06 -0.02 0.42 0.03 -0.09 0.24 0.04 -0.02 -0.40 0.34 0.06 pH-0.28 0.07 0.08 -0.09 0.65 -0.08 0.23 0.28 0.11 0.23 0.19 0.06 0.25 -0.07 -0.28 NH3-N0.76 0.17 0.14 -0.18 -0.05 -0.01 0.11 0.04 0.01 -0.21 -0.03 -0.20 0.12 -0.05 -0.14 挥发酚0.41 0.35 -0.13 -0.59 0.03 -0.28 -0.07 0.02 0.17 0.01 0.03 0.01 0.00 0.15 -0.17 TN0.67 0.14 0.34 -0.21 -0.02 0.06 0.25 -0.11 0.05 -0.15 -0.04 -0.20 0.03 -0.09 -0.03 六价铬0.11 0.41 -0.25 -0.56 0.04 -0.24 -0.01 0.10 0.10 0.03 0.33 0.06 -0.25 -0.12 0.31 CODmn0.68 0.17 -0.09 0.30 0.03 0.20 -0.11 0.05 -0.17 0.19 0.00 0.19 -0.21 0.12 -0.12 TP0.62 -0.03 0.30 -0.02 0.13 0.19 -0.20 -0.05 -0.24 -0.04 0.05 -0.18 -0.04 -0.37 0.16 BOD50.52 0.26 -0.09 0.25 0.32 0.40 -0.06 0.00 0.11 -0.01 0.13 0.30 -0.05 -0.24 -0.14 TCN0.13 -0.01 0.11 -0.02 -0.37 0.21 -0.06 0.52 0.38 0.52 -0.20 -0.13 0.05 -0.14 0.12 石油类0.25 0.05 -0.24 0.54 -0.18 -0.41 0.11 0.07 -0.03 0.02 0.46 -0.07 0.15 -0.03 0.11 Cd-0.26 0.12 0.10 -0.20 0.13 0.62 0.37 0.11 -0.04 -0.18 0.14 0.09 0.22 0.21 0.34 总铜0.19 0.63 -0.43 -0.17 -0.08 0.05 0.06 0.03 -0.23 0.09 -0.30 0.09 0.12 0.13 -0.03 总锌0.01 0.06 0.13 -0.08 -0.72 0.26 -0.03 0.20 0.01 -0.20 0.37 0.12 0.05 0.07 -0.29 Pb-0.03 0.20 -0.28 0.31 0.12 0.17 -0.01 -0.16 0.73 -0.27 -0.06 -0.15 -0.18 0.07 -0.01 Hg-0.29 0.47 0.39 0.15 0.11 0.08 -0.07 -0.09 -0.05 0.17 0.19 -0.50 0.02 0.16 -0.07 As0.32 0.49 -0.42 0.41 -0.06 -0.09 0.09 0.02 -0.05 -0.02 -0.10 -0.07 0.32 -0.02 0.16 Se0.06 -0.02 0.11 -0.12 -0.26 0.04 0.31 -0.71 0.21 0.40 0.09 0.18 0.16 -0.12 0.01 F-0.52 -0.55 0.07 0.00 0.14 -0.14 0.05 0.20 0.18 -0.08 0.10 0.13 0.08 0.08 0.12 硫化物0.28 0.03 0.14 -0.08 0.12 0.12 -0.74 -0.18 0.07 0.14 0.16 0.07 0.19 0.29 0.13 AS-0.13 0.47 0.61 0.16 -0.09 -0.25 0.00 0.07 0.08 -0.17 -0.17 0.29 -0.04 -0.04 0.13 溶解氧-0.30 0.49 0.62 0.20 0.02 -0.21 -0.04 0.05 0.05 -0.01 -0.01 0.19 -0.01 -0.01 0.01 电导率0.60 -0.34 0.25 0.02 0.02 -0.22 0.02 0.01 0.13 -0.06 -0.18 0.06 0.29 0.17 0.01 从主成分载荷表中，可以得出：COD、NH3-N、TN、六价铬、CODmn、TP、BOD5、总铜、Hg、As、F-、AS、溶解氧、电导率在主成分载荷中占较大比重。3.2 遗传算法优化BP神经网络将现有的268组样本数据转化为对应的268组综合指标样本数据，将其为BP网络的输入，以对应时间的河流是否被污染作为BP网络的输出（1为污染，0为未污染），建立BP网络。将对应的268组综合指标样本数据分为两部分，随机取100组（污染和非污染数据随机均匀选取）用于BP神经网络的训练，遗传算法用于优化BP神经网络的参数，另168组用于预测检验。遗传算法工具箱需要自行下载，比较权威的是英国设菲尔德大学开发的遗传算法工具箱。本实验在matlab中，遗传算法用于优化BP神经网络的权值和阈值，遗传算法经过200次迭代后种群目标函数的最优解变化如图4所示。训练好的参数见表4至表6。图4 经过200次迭代后物种的最优解变化表4 遗传算法优化的输入层到隐层的权值 输入层隐含层123456789101112131415123.19 -18.62 9.68 -5.88 -12.33 -24.27 -5.72 5.75 2.56 21.93 14.03 -12.27 16.11 24.34 9.61 222.78 0.80 -10.44 27.15 -33.70 -12.02 6.24 15.16 29.15 9.71 -8.88 -31.38 11.83 -2.16 24.98 322.76 -31.00 -5.05 0.13 -21.80 -5.86 -16.01 0.38 -1.28 -4.55 9.47 -2.96 -9.69 -26.66 7.02 4-22.83 -15.04 -14.66 16.34 19.27 -0.85 -9.65 7.76 19.43 -10.61 -5.87 11.34 4.40 -16.41 -28.45 523.07 -27.24 -10.02 12.02 22.73 2.50 3.27 31.18 3.49 10.65 -2.63 9.11 -16.76 8.89 22.63 6-12.55 -31.75 -12.85 -10.88 11.77 -34.31 18.47 23.50 17.70 -12.41 -27.53 7.42 29.11 -8.53 26.52 7-30.18 19.21 -13.35 -31.52 7.26 26.87 30.07 -24.40 15.71 17.33 13.16 15.51 1.62 -31.81 39.26 831.28 1.66 31.90 -11.67 30.07 -29.58 -5.85 18.91 -7.52 -5.16 -24.80 -19.68 -1.63 12.56 -18.02 上表中，行代表隐含层各神经元，列代表输入层各神经元。表5 隐含层到输出层的权值 隐含层输出层第1个神经元第2个神经元第3个神经元