南水北调山东段水资源优化配置模型专家决策系统.doc

南水北调（山东段）水资源优化配置模型专家决策系统南水北调工程是一项建设周期长、耗资巨大的跨流域调水工程。本专题充分利用现代化信息技术、数据库技术和计算机网络技术，综合应用高等数学中的数学建模、线性规划、概率论、数理统计、微分学等知识，结合南水北调东线工程山东省段建设和结合南水北调东线工程管理及调度运行需要，在山东省南水北调工程水质、水量实时监控的基础上，建立水资源优化配置模型专家决策支持系统。研究目的及意义本专题研制的目标是为结合南水北调东线工程山东省段建设和结合南水北调东线工程管理及调度运行需要，在山东省南水北调工程水质、水量实时监控的基础上，建立水资源优化配置模型专家决策支持系统。此系统的建立，将为实现当地水（包括地表水、地下水）、黄河水和长江水的联合优化调度提供可能，以达到充分发挥南水北调工程效益的目的，保证我国国民经济和社会持续高速发展，同时也将填补我国水资源配置及调度系统应用GIS技术、网络技术和遥测技术，以建立稳定的可操作的实时决策支持系统技术上的空白和通用性强的水资源优化配置专家决策支持系统软件的空白。南水北调东线一期工程东平湖济南段输水工程是胶东输水干线西段的一部分。该段输水工程是南水北调东线工程的重要组成部分，在长江水未调至东平湖之前，可将东平湖湖水调往济南市玉清湖水库，以解决济南市目前供水紧张局面和保泉要求以及沿线城市的供水危机，同时也为小清河河水冲淡稀释提供水源。南水北调输水干线全线贯通后，可以把东平湖多余的水调往小清河，以改变小清河的水环境。南水北调工程是一项建设周期长、耗资巨大的跨流域调水工程，只有对该项工程进行科学管理、优化调度，才能最终实现水资源的优化配置，达到社会效益、经济效益、环境效益的综合最大化。本次研究建立的济平干渠段的水资源优化配置模型，将在工程管理决策当中起到一定的指导作用，并在使用过程中不断完善和改进，最终实现地区水资源优化配置的目标。同时，该专题研究成果对南水北调工程其他段的水资源优化配置也具有很高的参考价值。1 研究基础条件1.1 工程运行方式及调度原则（一）工程运行方式及调度总原则为：（1）济平干渠在2008年之前调引东平湖水，解决济南市的部分用水量，同时向小清河补水，改善济南市的生态环境，因此济南市区成为水资源配置的重点目标。从远期来看，济南市各县（区）应充分利用胶东输水干线中段引黄济青时间，即11月中旬至翌年1月中旬的70天调引长江水；（2）正确认识和处理调水工程同节水、治污和保护生态环境的关系，坚持先节水后调水、先环保后用水的原则。坚持计划用水和按市场经济配水相结合的原则。实现当地水与外调水的联合调度和优化配置，最大限度地降低供水成本，发挥供水效益。（二）在江水未到达东平湖之前的水量调度原则（1）在保持经济社会可持续发展，促进生态环境良性循环的前提下，首先开发利用当地水资源；（2）充分利用当地水资源前提下，从东平湖调引湖水，引湖水量应在国务院批准的黄河水量指标中统筹解决，并以不影响东平湖产和湿地生态环境为控制条件；（3）东平湖水量不足，可调引分配给济南市的引黄水量，鉴于玉清湖水库沉砂池坐落在黄河滩区和玉符河滩地上，使用期有限，届时可从田山一级站、东风站向济南市区应急调引黄河水。（三）在长江水到达东平湖之后的水量调度原则 （1）在保持经济社会可持续发展，促进生态环境良性循环的前提下，首先开发利用当地水资源； （2）在东平湖水量充沛，不影响生态环境的情况下，可适量向济南市补水； （3）通过南水北调东线调水工程，向济南市区补给长江水，以长江水替代黄河水成为玉清湖水库的只要供水水源，将占用的农业引黄水量归还给农业，并尽可能减少引黄水量，保护黄河河口生态环境，减少引黄口门泥沙处理负担，减少或消除沙化影响，促进沿黄地区生态环境的良性循环； （4）南水北调全线通水后，济南市可通过引用长江水尽量减少地下水开采量，以达保泉的目的。1.2 水源和供水区域及用水部门的划分通过对供水区基本资料的分析，确定供水区域内有五种水源：本地地表水和地下水、引黄河水、东平湖水和长江水。东平湖济南段输水干渠对沿线的平阴县、长清区、济南市区分水，共设4个分水口。将这4个分水口按上下游顺序编号，上盆王分水口为1号分水口，南大沙河分水口为2号分水口，贾庄分水口为3号分水口，玉清湖水库分水口为4号分水口。根据每个分水口的供水范围，把整个供水区域分为4个分区，即i号分水口向i分区供水，i=1,2,3,4。表11 供水分区对照表分水口1234供水分区平阴分区长清1区长清2区济南市区由于供水对象以城市生活用水和工业用水为主，兼顾高效农业用水和生态环境用水，因而用水类型拟定为四个：生活用水、工业用水、农业用水和生态环境用水。1.3 渠首分水闸和分水口流量引水工程的输水能力制约着水资源的实际可利用量和水量在各用水分区的分配。经分析，将分水口的设计流量和干渠引至该分水口的流量，共同作为该分区可分配水量的约束。南水北调东线一期工程东平湖济南段输水工程共布置各种水闸16座，其中新建渠首引水闸1座，防洪闸2座，分水闸4座，泄水闸2座，进洪闸4座，水库截渗沟涵闸1座，节制闸1座，重建原有河道灌溉引水闸1座。根据闸址处地形地质条件，为与远期工程相结合，避免重复建设造成投资浪费，渠首引水闸按远期工程规模设计，设计流量90m3/s，校核流量100m3/s，闸上设计水位39.30m，闸下设计水位39.10m，闸上校核水位为39.60m，闸下校核水位为39.40m。共设5孔，每孔净宽3.00米，上游通过导流连接段与东平湖出湖深槽衔接，下游左岸为陈山口退水闸导流堤，右岸为输水渠堤防。为保证输水渠安全或沿线输水工程发生意外故障时能够及时泄掉输水渠中多余水量，在输水渠有条件泄水的河道设泄水闸。根据实地查勘情况，经分析研究确定，在平阴县境内的浪溪河倒虹和长清区境内的北大沙河倒虹前分别设泄水闸1座（这2座泄水闸要同时具有进洪闸功能），根据灌溉与排水工程设计规范规定，结合工程实际情况确定设计流量为28m3/s。为便于输水渠沿线地区用水，根据南水北调东线工程山东省配套工程规划，结合当地蓄水工程位置，在输水渠沿线共布置分水闸4座。分别为平阴县上盆王分水闸、长清区的南大沙河分水闸、贾庄分水闸、槐荫区的玉清湖水库分水闸，各分水闸均与输水渠正交。表12 引水闸和分水闸数据表 闸门数据渠首引水闸上盆王分水闸南大沙河分水闸贾庄分水闸玉清湖分水闸设计流量 （m3/s）902.43.03.49.0一年分水天数（天）243707070701.4 分水口水价水价是影响水资源分配的一个重要经济因素，各分水口水价的差异将会调整水量的重新分配。在水资源优化配置模型的求解过程中，需要对不同的供水方案，在满足供需平衡的前提下计算供水及用水部门的经济效益。因此，可将多组分水口水价代入模型，分别优化后，分析水价的取值与经济效益及缺水量之间的关系，从而指导水资源优化配置。 根据工程沿线分水口的分布情况，对平阴上盆王分水口、长清南大沙河分水口、长清贾庄分水口、玉清湖分水口（入小清河）分别进行2008年前、后供水成本及水价测算。根据国发198594号文水利工程水费核订、计收和管理办法、中华人民共和国价格法、水利产业政策等有关规定，拟定不同的资本金利润率6%、4%、2%、1%对各计量点2008年前、后供水水价进行测算。本课题拟采用资本金利润率4%时计算得出的水价，该水价包括容量水价与计量水价两部分。表13 分水口水价表（单位：元/m3） 闸门数据渠首引水闸上盆王分水闸南大沙河分水闸贾庄分水闸玉清湖分水闸水价 (2008年前)0.421.5412.8893.4234.668水价 (2008年后)0.420.5630.6110.6270.6571.5 水资源系统概化对干渠初步设计报告和南水北调配套工程规划等资料进行细致的分析，确定分水口的服务范围，依据水资源利用的基本情况，绘制干渠及其供水区域水资源概化图，如图1-1所示。1.6 渠段的划分及水量损失该工程初步设计报告中计算出济平干渠的总渗漏量为0.81m3/s。整个渠道采用多种衬砌结构形式，因而需要根据衬砌结构形式的不同划分渠段，计算各段的渗漏量。进行优化计算，将每两个分水口之间各渠段的渗漏量相加，分别计算年内和各时段的渗漏损失水量。按渠道坡度、底宽的差异，并以各分水口为界限，将干渠从渠首引水闸至玉清湖分水口段划分成10个计算渠段。依此划分的每个计算渠段，都是棱柱体渠道。假设调度期的一个时段内，渠首引水流量恒定，由于渠道流量损失很小，因此在同一渠段内的水流可按明渠均匀流处理。表14 干渠计算渠段划分表渠段序号坡度底宽（m）边坡系数（内）边坡系数（外）糙率长度（km）渗漏水量损失（m3/s）渠段末端的分水口10.0000561422.50.01522.8630.21820.0001251422.50.01510.00930.0000561422.50.0155.4280.052上盆王分水口40.0000561422.50.01511.4790.10950.0001251422.50.01510.00960.0000561422.50.01521.4830.212南大沙河分水口70.0000561422.50.01511.4960.106贾庄分水口80.0000561422.50.0150.4410.00490.00011422.50.0154.7370.045100.00019.522.50.0154.1870.04玉清湖水库分水口在本课题中，为了简化计算，将上述十个渠段合并成四个，再加上玉清湖分水口至小清河入口处的一段，总计最后分成五个渠段。表15 最后渠段渗漏水量表 渠段数据渠段1渠段2渠段3渠段4渠段5长度 km29.39133.96211.4729.3655.600渗漏水量 m3/s0.2780.3290.0880.0820.030蒸发水量m3/s（年均）0.0330.0390.0130.0090.0051.7 分水口流量约束当某地需要通过分水闸分水，由远方给出分水流量。则计算机系统给出闸门开启高度。开启闸门，由装在出口的流量传感器校核分水量，并调整闸门开启高度。因此各分水口的最大流量应为闸门全开时的流量，由闸前、闸后水位差及过水断面计算确定。1.8 各种水资源量及用水成本根据供水预测模型预测的数据，在水平年2003、2010及2030保证率分别为50、75、95时，本课题采用的各水源的可供水量见表8-68-9。表1-6 2003年可供水量数据 单位：万m3/年 保证率水源507595分区1引黄水量000分区2引黄水量000分区3引黄水量000分区4引黄水量31825.5528954.2224486.37表1-7 2010年可供水量数据 单位：万m3/年 保证率水源507595分区1引黄水量000分区2引黄水量000分区3引黄水量000分区4引黄水量37725.7830615.8124909.04表1-8 2030年可供水量数据 单位：万m3/年 保证率水源（编号）507595分区1引黄水量000分区2引黄水量000分区3引黄水量000分区4引黄水量44491.234384.6128030.52表1-9 地下水、地表水可供水量数据 单位：万m3/年 保证率水源507595分区1地表水294427472159分区2地表水273223951865分区3地表水309627152114分区4地表水14029110937743分区1地下水993999399939分区2地下水663666366636分区3地下水752175217521分区4地下水2498624986249861.9 需水量数据根据需水预测模型预测的数据，在保证率分别为50、75、95时每年份的数据都相同，本课题采用的各用水部门的需水量见表1-10。表1-10 生活需水量数据 单位：万m3/年年份 用水部门水源生活生态工业农业2003年分区1195068521009699分区2 102545812656931分区3 116251914347855分区4 17229173323200286772010年分区1 2960137133008640分区2 186391619216179分区3 2112103821787003分区4 18189346735700253552030年分区1 38571714112559962分区2 2466114529507175分区3 2795129733448132分区4 24726433454600288641.10 节水灌溉水量最优分配模型南水北调工程的供水区域均为水资源比较缺乏的地区，因而实行节水灌溉势在必行。建立节水灌溉的最优灌溉制度，是指在总灌溉水量已经确定，并且小于作物整个生育期的总灌溉需水量情况下，如何将总灌溉水量分配到各作物的各生长阶段，使得在此供水不足的条件下获得最好的产量。一、目标函数及状态转移方程 假设某供水分区种植单一作物，其总灌溉需水量已知，根据节水率确定总灌溉水量（灌溉定额）。则该作物的最优灌溉制度的设计过程，可以看成是一个多阶段决策过程，用动态规划建立如下模型：（1）目标函数：采用Jensen提出的供水不足条件下，水量和作物实际产量的连乘模型，目标函数为单位面积的实际产量Ya与最高产量Ym的比值最大，即 （1-1）式中，(ETm)i为第i阶段的最大腾发量。（2）状态转移方程：由于本系统有两个状态变量，状态转移方程也有两个：一是水量分配平衡方程 （1-2）式中，qi,qi+1分别为第i,i+1阶段初系统用于分配的水量（换算成单位面积水深，单位mm，以下同）；mi为第i阶段的灌溉水量。二是土壤湿润层内的水量平衡方程 （1-3）式中，Si , Si+1分别为第i, i+1阶段初土壤中可利用的水量，(ETa)i为第i阶段的实际腾发量，Pi为第i阶段的有效降雨量，Ki为第i阶段的渗漏量。（3）段变量根据作物的生长过程，以旬为阶段，将其全生长期分成N个生长阶段，阶段变量为i=1,2,N。（4）态变量和决策变量每个阶段的状态变量有两个，一是各阶段初可用于分配的灌溉水量qi，二是计划湿润层内可供作物利用的土壤水量Si。决策变量也有两个，一是各阶段的实际灌溉水量mi，二是实际腾发量(ETa)i, i=1,2,N。二、模型的约束条件状态变量取值范围约束： （1-4） i=1,2,N （1-5）式中，Q为全生长期单位面积上可供分配的水量，Smax,Smin为土壤含水量的上下限。决策变量取值范围约束： （1-6） i=1,2,N （1-7）式中，(ETmin)i为第i阶段的最小腾发量。初始条件：假设作物播种时的土壤含水量为已知，即 （1-8）第一阶段可用于分配的水量为作物全生长期可用于分配的水量，即 （1-9）三、模型的求解方法本模型是一个具有两个状态变量及两个决策变量的二维动态规划问题，可采用DDDP法求解。求解模型，得到N个阶段的单位面积的最优灌溉策略，进而得到整个分区的最优灌溉策略。值得注意的是，改变总灌溉水量，将得到不同的最优灌溉策略。四、模型的应用拟将本模型与水资源实时调度模型配合使用，进行有限水量情况下的多用户最优分配。应用步骤如下：对每个分区各主要作物建立相应的节水灌溉的水量最优分配模型。运用动态规划方法，在各种不同作物进行分配，使经济效益为最大。根据四个分区的总灌溉需水量，拟定每个分区的总灌溉水量TQi。求解模型，分别得到每个分区的最优灌溉策略。将最优灌溉策略的各阶段灌溉水量作为水资源实时调度模型中的农业需水量，求解水资源的实时调度策略。2 目标规划与动态规划方法2.1目标规划与随机目标规划模型2.1.1目标规划模型目标规划是解多目标线性规划问题的一种方法，现简要叙述建立目标规划模型的几个重要概念。（1）正、负偏差变量d+、d-正偏差变量d+表示决策值超过目标值的部分，负偏差变量d-表示决策值未达到目标值的部分。（2）绝对约束和目标约束绝对约束是指必须严格满足的等式约束和不等式约束。把约束右端项看作要追求的目标值，在达到此目标值时允许发生正或负偏差，这样的约束叫作目标约束。线性规划问题的目标函数，在给定目标值和加入正、负偏差变量后可变换为目标约束。也可根据问题的需要将绝对约束变换为目标约束。（3）优先因子与权系数一个规划问题常常有若干个目标。但决策者在要求达到这些目标时，是有主次或轻重的不同。凡要求第一位达到的目标赋予优先因子P1，次位的目标赋予优先因子P2, Pk，并规定PkPk+1，k=1,2,K，表示Pk比Pk+1有更大的优先权。若要区别具有相同优先因子的两个目标的差别，这时可分别赋予它们不同的权系数。这些都由决策者按具体情况而定。（4）目标函数目标规划的目标函数是由各目标约束的正、负偏差变量和赋予相应的优先因子构造而成的。当每一目标值确定后，决策者的要求是尽可能缩小偏离目标值。因此目标函数有三种基本形式：要求恰好达到目标值，即正、负偏差变量都要尽可能地小，这时 （1-10）要求不超过目标值，即允许达不到目标值，但要求正偏差变量尽可能地小，这时 （1-11） 要求超过目标值，即超过量不限，但要求负偏差变量尽可能地小，这时 （1-12）（5）数学模型目标规划的数学模型为： （1-13） （1-14） 建立目标规划的数学模型时，需要确定目标值、优先因子、权系数等，这些都具有一定的主观性和模糊性，可以由模型的使用者或专家给予量化。2.1.2目标规划模型随机约束模型随机目标规划是一种非确定性规划。其目标函数中含有随机变量，或是约束条件中含有随机变量。根据本次研究的范围，仅介绍约束条件的右端项含有随机变量的随机约束目标规划模型。首先讨论线性规划形式的随机约束模型。设有如下线性规划 （1-15） （1-16）式中向量X为决策变量，它的取值将规定特定系统的规划方案和运行策略。无论是目标函数f(X)还是约束函数gi (X)，甚至B i ,既可以是确定性的，也可能是非确定性的。当目标函数f(X)是确定性的，而仅当一个或多个约束不等式右端的Bi为随机时，模型约束可写成随机约束。随机约束模型就是在某些场合考虑约束概率的模型。如果确定了约束的保证率P i，则上述模型可写成： （1-17） （1-18）约束条件（1-18）式中，约束函数gi (X)包含了确定性的决策向量X，而B i是随机的，其分布函数Fbi (bi)如图4-1所示。图4-1中，bi(Pi)和bi(1-Pi)值是随机变量Bi的特定值，即随机变量Bi超过bi(Pi)和bi(1-Pi)的概率分别为Pi和1-Pi。随机约束条件式（1-18）表示函数gi (X)不大于随机变量Bi的概率为Pi。因为bi(Pi)值不大于随机变量Bi的概率为Pi，故要求函数gi (X)不大于bi(Pi)就足够了。因此随机约束 （1-19）或 （1-20）的确定性等效形式为： （1-21） 随机约束的这一确定性等效特性，能大大地简化模型的求解过程。与线性规划相似，目标规划的绝对约束右端项如为随机变量，则称为随机约束目标规划，求解时也可采用上述等效特性。随机约束目标规划模型应用于水资源优化问题时，概率Pi必须在求解模型之前给定，它取决于对系统各目标的要求(如保证率)，一般依据实践经验及对工程性能的认识分析估计得出，也可依实际运行情况作适当调整。 图1-12.1.3 随机目标规划模型的计算流程随机目标规划模型的计算流程如图1-2所示。图1-2 随机目标规划框图2.2 DDDP算法（离散微分动态规划法）美国学者海达瑞、周文德等人提出离散微分动态规划法，即DDDP法。用于解决四个水库、两个目标的水资源系统最优调度规划问题，得出了最优策略。这种方法是使用动态规划的递推方程，在试验轨迹临域内的各离散状态空间，寻找一个改善轨迹。它不要求在整个可行域上择优，而是在假设的初始轨迹的某个邻域上择优，逐次逼近最优轨迹。每次迭代结束，得到一个改善的轨迹，并以此做为下一步迭代的试验轨迹，重复进行，直到满意为止。2.2.1 DDDP算法的原理和步骤考虑的动态系统，其系统状态方程为 （1-21） 约束条件为 （1-22） 进行极大化的目标函数为 （1-23） 式中，n为阶段变量，N为阶段总数，S(n)为第n级的m维状态向量，u(n-1)为第n-1级的m维决策向量，m为状态变量数，S(n)和U(n)分别为第n级的状态空间和决策空间的可行域。式（4-23）的最优化问题，采用逆序动态规划，其递推公式为 （1-24）边界条件为 （1-25）在DDDP法中，称满足式（1-22）的状态向量序列为试验轨迹，以表示；满足式（1-22）的决策向量序列为试验策略，以表示。将和代入式（1-23）得出 （1-26）式中，为整个过程内，由试验轨迹和试验策略所产生的总效益。设有m维状态向量的一组增量 （1-27）其中第j个分量可以从状态域中一系列假设的增值中任取一个值。是状态域中假设的第t个增量，T是状态域中所假设的某一方向的增量总数。设各方向上增量总数均相同。因此，第n级向量的总数为Tm。当加到该级试验轨迹上时，这些向量形成一个以D(n)表示的m维子域 （1-28）所有的称为廊道，用C表示。DDDP法是把廊道C作为一个可行的状态空间，在廊道C内用动态规划的递推方程（1-25）进行最优化，得到效益值，应等于或大于式（1-26）的。如果，则将廊道C中优化得到的试验轨迹和试验策略，作为下一次迭代的试验轨迹和试验策略。采用DDDP法优化，首先要确定一条满足约束（1-22）的初始轨迹和相应的初始策略，设为和，然后开始第一次迭代。如上所述，系统第K次迭代的步骤可归纳如下：（1）K-1次迭代所得的和作为第K次迭代的试验轨迹和试验策略，即 （1-29） （2）满足约束（1-22）的前提下，选择，形成第K次廊道CK。（3）在廊道CK内用递推方程（1-24）进行优化，求出最优的的相应最优轨迹和相应最优策略。（4）确定。若，为预先指定的某常数，则停止迭代，输出和，否则转回到第（1）步。2.2.2 DDDP算法的优缺点DDDP法最突出的优点是它能克服传统的动态规划方法需要存贮量大和计算时间长的缺点，因此该算法适合于求解多个水库的联合优化调度问题。该算法的缺点是当增量的大小选择不当时，算法只收敛于局部的最优值，它并不恰好是全局最优值。算法改进及应用：（1）为了减少迭代次数，加快收敛速度，在迭代初期可选取较大的。如在第K次迭代后不能改善目标函数值，则从第K+1次迭代开始减少，直到产生了如第K次迭代那样的情况。如此反复进行，直到缩小到规定的要求，并满足8.2.2.1中第（4）步条件为止。 （2）对于高度非线性问题，局部最优解很多，即使采用上述的改进方法，也不能保证收敛到全局最优解。为了解决这个问题，可以采用从多条不同的初始轨迹迭代的办法，希望从多个局部最优解中找到全局最优解，或找到多个满意的局部最优解。试验证明，该方法是有效的。（3）DDDP法在确定性优化问题中得到很好应用，但目前应用于随机型问题尚不多见，即对于入库流量为随机变量的水库调度该方法并不适用。究其原因，主要是系统状态方程中含有随机变量，在随机变量取值未确定的情况下，无法得到下一阶段的状态，因而无法确定廊道内的最优轨迹。2.2.3 DDDP算法的计算流程DDDP算法的计算流程如图1-3所示。 图1-3 DDDP法程序框图2.3 随机动态规划2.3.1随机效益函数在确定性动态规划数学模型中，效益函数是状态变量与决策变量的函数。当动态规划的效益函数中包含随机变量Ki，则称为随机效益函数，此时动态规划为随机动态规划。随机效益函数一般表示为： （1-30）式中，Si-1为阶段i的输入状态变量，di为决策变量，Ki为随机变量，Ki的概率分布由Pi(Ki)给出。根据概率论中的期望值计算公式，对某固定值Si-1和di以及随机变量Ki及其发生概率Pi(Ki)，预期得到的期望平均效益如下：当Ki是离散型随机变量时，为 （1-31）当Ki是连续型随机变量时，为 （1-32）实际应用中，常把随机变量Ki离散化。假设将Ki的取值范围离散成M个区间，用Kij表示Ki的第j个区间。根据统计资料计算出Ki落在区间Kij的频率Pij(Kij),j=1,2,M，将M个Pij(Kij)代入式（1-31）计算得到平均效益值。2.3.2随机最优策略与递推方程由于把随机变量引入决策过程。因此，第i阶段的系统状态方程变为 （1-33）式中，Si为第i阶段的输出状态变量，Ti为第i阶段系统状态转移的变换。由于此系统方程形成的是随机性多阶段决策过程，由它得出的最优策略也必然是随机的。随机动态规划把随机变量Ki作为每一阶段i的一项输入，加入了决策过程，在一般意义上说，就是把“风险”引进了决策过程。因此，得出的最优策略也是指在冒一定风险的情况下，当收益函数期望值为最大值（或最小值）时的决策序列。假设过程的期望总效益等于各阶段期望效益的总和，即 （1-34）根据动态规划的最优性定理，可归纳得出第i阶段的期望最优效益的逆序递推方程为 （1-35）式中，。按照该递推方程，可以从最后一个阶段开始，逐步递推计算出随机最优策略。由式（1-35）可知，在优化得到的随机最优策略中，对于第i阶段的输入状态变量Si-1的确定值，Ki的每个值对应一个最优决策di，作出决策di后系统到达第i+1阶段的输入状态Si。可以将最优策略分阶段制成表格，根据阶段i的组合输入状态变量（Si-1,Ki），查询出相应的最优决策di。绘制的表格如表1-11所示。表1-11 第i阶段的最优决策查询表状态变量随机变量决策变量Ki1Ki2KimS（i-1）1d11d12d1mS（i-1）2d21d22S（i-1）pdp1dp2dpm2.3.3一种随机过程一个多阶段随机最优决策过程得出的决策序列也是随机的。为了能对随机决策序列过程（它是一种随机过程）进行具体的分析，最简单的一种情况是假定各阶段（或时段）的随机变量是相互独立的。即假定该随机过程是各阶段的随机变量Ki各自有其独立的概率分布函数的随机过程。亦即若把该随机过程用K(t)表示时，其n维概率分布函数可表示为： （1-36）式中，为第i阶段随机变量Ki的概率分布函数。其次一种稍复杂一些的情况是假定各阶段的随机变量Ki之间存在某种相依关系。这时随机变量Ki的概率分布与前面阶段随机变量的取值有关，是前面阶段出现某种情况下的条件概率分布。称之为各阶段的随机变量间存在马尔可夫链的关系。马尔可夫链是时间和状态都是离散的马尔可夫随机过程。马尔可夫过程的特点是无后效性，用条件分布函数描述就是 (1-37）对于马尔可夫链的概率分布，如果只考虑相邻两个阶段随机变量之间的关系，假设在第t阶段随机变量的状态取为ai，到t+1阶段出现状态为aj的概率，我们把此概率记为Pij，即 （1-38）因为它只经过一次状态转移，因而称它为马尔可夫链的一步状态转移概率。如用矩阵M(i,i+1)表示阶段i到阶段i+1的一步状态转移概率，矩阵如表1-12。 表1-12 态转移概率矩阵表第i+1阶段随机变量Ki+1第i阶段随机变量KiKi+1,1Ki+1,hKi+1,nKi,1P11P1hP1nKi,jPj1PjhPjnKi,nPn1PnhPnn表1-12状态转移矩阵中，Kij表示i阶段中随机变量Ki的第j种可能的取值。Ki+1,h表示第i+1阶段随机变量Ki+1的第h种可能取值。Pjh表示在第i阶段，随机变量Ki的值为Kij的条件下，到第i+1阶段，随机变量的值取为Ki+1,h的条件概率值。马尔可夫链的状态转移概率矩阵决定了随机变量状态转移过程的概率法则和特性。若概率矩阵不随时间改变，即，称为恒定状态转移概率矩阵。实际应用中大多数马尔可夫链具有恒定的一步状态转移概率矩阵。推求一步状态转移概率矩阵可采用如下方法：假设随机变量Ki有n种可能的取值，记为Ki=aj,j=1,2,n。调查收集了H组Ki的历史数据，由于矩阵不随时间改变，因而任取第i,i+1时段的数据进行计算。首先对Ki=a1的数据进行统计，求出Ki=a1的情况下，Ki+1=a1, Ki+1=a2, Ki+1=an的频数分别为f1,f2,fn,则表8-2中的概率向量 （1-39）同理，对Ki=a2, Ki=an的资料进行统计，可求出表8-2的概率矩阵。2.3.4随机动态规划的计算流程随机动态规划的计算流程如图1-4所示。图1-4 随机动态规划框图3 优化配置目标规划模型对东平湖调蓄的年调江水量在干渠沿线各分区各用水部门之间进行最优分配，建立水资源优化配置的数学模型。该模型可以分析供水区域水资源利用的现状，指出存在的问题，从而在宏观意义上指导调水工程的水量配置，使工程发挥最大的综合效益。针对来水量可分为确定性和随机性两种情况，分别采用确定性目标规划和随机性目标规划建立模型。3.1 水资源优化配置确定性目标规划模型3.1.1模型准则根据南水北调山东段水资源优化配置原则，各供水目标的优先级依次为：a保证生活用水量b. 完成各分区规划工业产值c. 尽量满足生态用水要求，满足地下水开采量限制d. 尽量完成农业产值e. 供水成本尽可能低3.1.2决策变量水资源有4种类型：东平湖调引水、黄河水、本地地表水和地下水，将一年划分为T个时段，则第t时段（t1,2T）的变量如下：Wtij分水口的分水量，表示第t时段第i个（i=1,2,3,4）分水口对第j（j=1,2,3,4）种供水目标的供水量（万m3/年，以下水量单位同），4种供水目标依次为生活、工业、生态环境、农业用水；Htij第t时段第i分区（i=1,2,3,4）调引黄河水用于第j（j=1,2,3,4）种供水目标的供水量；Tgtij第t时段第i分区（i=1,2,3,4）自来水公司利用当地地表水用于第j（j=1,2,3,4）种供水目标的供水量；Tutij第t时段第i分区（i=1,2,3,4）自来水公司开采当地地下水用于第j（j=1,2,3,4）种供水目标的供水量；Ngti第t时段第i分区（i=1,2,3,4）农业利用地表水灌溉量；