05动态规划解析.pptx

动态规划动态规划将货物从城市Q运到海港T，途中经过城市A、B、C，三个城市各有3、3、2个转运点，各点运费如图，求从Q到T的最优路线，使总运费最少。最少费用运输问题最少费用运输问题TA1A2A3B1B2B3C1C224374632441514633334出发城市海港城市A城市B城市C3个转运点3个转运点2个转运点Q动态规划是解决多阶段决策过程最优化问题的动态规划是解决多阶段决策过程最优化问题的一种方法。由美国数学家贝尔曼（一种方法。由美国数学家贝尔曼（BallmanBallman）等人在等人在2020世纪世纪5050年代提出。他们针对多阶段决年代提出。他们针对多阶段决策问题的特点，提出了解决这类问题的策问题的特点，提出了解决这类问题的“最优最优化原理化原理”，并成功地解决了生产管理，并成功地解决了生产管理 、工程工程技术等方面的许多实际问题。技术等方面的许多实际问题。动态规划动态规划动态规划是现代企业管理中的一种重要决策动态规划是现代企业管理中的一种重要决策方法，可用于最优路径问题、资源分配问题、方法，可用于最优路径问题、资源分配问题、生产计划和库存问题、投资问题、装载问题、生产计划和库存问题、投资问题、装载问题、排序问题及生产过程的最优控制等。排序问题及生产过程的最优控制等。动态规划动态规划以以“时间时间”角度可分成：角度可分成：离散型和连续型离散型和连续型从信息确定与否可分成：从信息确定与否可分成：确定型和随机型确定型和随机型从目标函数的个数可分成：从目标函数的个数可分成：单目标型和多目标型单目标型和多目标型动态规划模型的分类动态规划模型的分类多阶段决策过程最优化多阶段决策过程最优化多阶段决策过程是指这样一类特殊多阶段决策过程是指这样一类特殊的活动过程，他们可以按时间顺序的活动过程，他们可以按时间顺序分解成若干相互联系的阶段，在每分解成若干相互联系的阶段，在每个阶段都要做出决策，全部过程的个阶段都要做出决策，全部过程的决策是一个决策序列，所以多阶段决策是一个决策序列，所以多阶段决策问题也称为序贯决策问题。决策问题也称为序贯决策问题。动态规划的基本原理动态规划的基本原理某工厂每月需供应市场一定数量的产品。供应某工厂每月需供应市场一定数量的产品。供应需求所剩余产品应存入仓库，一般地说，某月需求所剩余产品应存入仓库，一般地说，某月适当增加产量可降低生产成本，但超产部分存适当增加产量可降低生产成本，但超产部分存入仓库会增加库存费用，要确定一个每月的生入仓库会增加库存费用，要确定一个每月的生产计划，在满足需求条件下，使一年的生产与产计划，在满足需求条件下，使一年的生产与存储费用之和最小。存储费用之和最小。生产与存储问题生产与存储问题某公司现有资金某公司现有资金Q Q亿元，在今后亿元，在今后5 5年内考虑给年内考虑给A A、B B、C C、D D四个项目投资，这些项目的投资四个项目投资，这些项目的投资期限、回报率均不相同，问应如何确定这些期限、回报率均不相同，问应如何确定这些项目每年的投资额，使到第五年末拥有资金项目每年的投资额，使到第五年末拥有资金的本利总额最大。的本利总额最大。投资决策问题投资决策问题企业在使用设备时都要考虑设备的更新问题，企业在使用设备时都要考虑设备的更新问题，因为设备越陈旧所需的维修费用越多，但购因为设备越陈旧所需的维修费用越多，但购买新设备则要一次性支出较大的费用。买新设备则要一次性支出较大的费用。设备更新问题设备更新问题现在某企业要决定一台设备未来现在某企业要决定一台设备未来8 8年的更新计年的更新计划，已预测到第划，已预测到第j j年购买设备的价格为年购买设备的价格为K Kj j，G Gj j为设备经过为设备经过j j年后的残值，年后的残值，C Cj j为设备连续使用为设备连续使用j-1j-1年后在第年后在第j j年的维修费用年的维修费用(j=1,28)(j=1,28)，问，问应在哪年更新设备可使总费用最小。应在哪年更新设备可使总费用最小。设备更新问题设备更新问题阶段阶段状态状态决策和策略决策和策略状态转移状态转移指标函数指标函数动态规划的基本概念动态规划的基本概念如图是一个五座城市的及其相连道路的交通图，线上的数字是对应的路长。问：应如何选择行驶路线，才能使从A、B、C、D各城市到E城市的行驶路程最短？不定阶段最短路线问题不定阶段最短路线问题252755610.53ECBDA从图中可以看出，任意两座城从图中可以看出，任意两座城市之间都有道路相通。我们把市之间都有道路相通。我们把从一座城市直达另一座城市作从一座城市直达另一座城市作为一个阶段。例从为一个阶段。例从A A城市到城市到E E城城市的阶段数，少则一个，例从市的阶段数，少则一个，例从A A城市直达城市直达E E城市，多则无限城市，多则无限（例从（例从A A城市通过其他城市通过其他B B、C C、D D三城市循环到三城市循环到E E城市）。为避城市）。为避免循环，加上约束条件：每个免循环，加上约束条件：每个城市至多经过一次。城市至多经过一次。不不定定阶阶段段最最短短路路线线问问题题不定阶段最短路线问题不定阶段最短路线问题252755610.53ECBDA于是从于是从A到达到达E的阶段数情形：的阶段数情形：1、从、从A城市直达城市直达E城市，一个阶段。城市，一个阶段。2、从、从A城市通过其他城市通过其他B、C、D三三城市之一到城市之一到E城市，二个阶段。城市，二个阶段。3、从、从A城市通过其他城市通过其他B、C、D三三城市之二到城市之二到E城市，三个阶段。城市，三个阶段。4、从、从A城市通过其他城市通过其他B、C、D三三城市各一次到城市各一次到E城市，四个阶段。城市，四个阶段。不定阶段最不定阶段最短路线问题短路线问题不定阶段最短路线问题不定阶段最短路线问题252755610.53ECBDAW W先生每天驾车去公司上班。如图，先生每天驾车去公司上班。如图，W W先生的住所位于先生的住所位于A A，公司，公司位于位于F F，图中的直线段代表公路，交叉点代表路口，直线段上，图中的直线段代表公路，交叉点代表路口，直线段上的数字代表两路口之间的平均行驶时间。现在的数字代表两路口之间的平均行驶时间。现在W W先生的问题是先生的问题是要确定一条最省时的上班路线。要确定一条最省时的上班路线。A 3 B1 4 C1 3 D14 5 3 2B2 2 C2 3 D2 2 E11 2 3 4C3 4 D3 5 E2 2 F最短上班路线问题最短上班路线问题A AB1B1B2B2C1C1C2C2C3C3D1D1D2D2D3D3E1E1E2E2F F34154444533332222A B C D E F最短上班路线问题最短上班路线问题将所给问题的过程，按时间或空间将所给问题的过程，按时间或空间特征分解成若干个相互联系的阶段，特征分解成若干个相互联系的阶段，以便按次序去求每阶段的解，常用以便按次序去求每阶段的解，常用k表示阶段变量。表示阶段变量。阶段（阶段（StageStage）上班路线问题：阶段A AB1B1B2B2C1C1C2C2C3C3D1D1D2D2D3D3E1E1E2E2F F34154444533332222A B C D E F各阶段开始时的客观条件叫做状态。各阶段开始时的客观条件叫做状态。描述各阶段状态的变量称为状态变量，描述各阶段状态的变量称为状态变量，常用常用s sk k表示第表示第k k阶段的状态变量，状态阶段的状态变量，状态变量的取值集合称为状态集合，用变量的取值集合称为状态集合，用S Sk k表表示。示。状态（状态（StateState）上班路线问题：状态集合SA=ASB=B1,B2SC=C1,C2,C3SD=D1,D2,D3SE=E1,E2当某阶段状态给定以后，在这阶段以后的过程的发展不受这段以前各段状态的影响。即：过程的过去历史只能通过当前状态去影响它未来的发展，这称为无后效性。如果所选定的变量不具备无后效性，就不能作为状态变量来构造动态规划模型。动态规划中的状态具有如下性质动态规划中的状态具有如下性质当各段的状态确定以后，就可以做当各段的状态确定以后，就可以做出不同的决定（或选择），从而确出不同的决定（或选择），从而确定下一阶段的状态，这种决定称为定下一阶段的状态，这种决定称为决策。决策变量用决策。决策变量用d dk k(s(sk k)表示，允表示，允许决策集合用许决策集合用D Dk k(s(sk k)表示。表示。决策和策略决策和策略（Decision and PolicyDecision and Policy）各个阶段决策确定后，整个问题的决策序各个阶段决策确定后，整个问题的决策序列就构成一个列就构成一个策略策略，用，用p p1,n1,n(d(d1 1,d,d2 2,d,dn n)表示。对每个实际问题，可供选择的策略表示。对每个实际问题，可供选择的策略有一定的范围，称为允许策略集合，用有一定的范围，称为允许策略集合，用P P表表示。使整个问题达到最优效果的策略就是示。使整个问题达到最优效果的策略就是最优策略。最优策略。决策和策略决策和策略（Decision and PolicyDecision and Policy）状态状态B2B2决策变量决策变量d dB B(B2)(B2)取值：取值：B2C2(2)B2C2(2)，B2C3(1)B2C3(1)状态状态B2B2的决策集合：的决策集合：D DB B(B2)=B2C2(2)(B2)=B2C2(2)，B2C3(1)B2C3(1)A A到到F F的一个决策序列（策略）：的一个决策序列（策略）：P PA,FA,F=A,B1,C2,D2,E1,F=A,B1,C2,D2,E1,F上班路线问题的决策、策略上班路线问题的决策、策略动态规划中本阶段的状态往往是上一阶段的动态规划中本阶段的状态往往是上一阶段的决策结果。如果给定了第决策结果。如果给定了第k k段的状态段的状态S Sk k ，本，本阶段决策为阶段决策为d dk k(S(Sk k)，则第，则第k+1k+1段的状态段的状态S Sk+1k+1由由公式：公式：S Sk+1k+1=T=Tk k（S Sk k，d dk k）确定，称为状态转确定，称为状态转移方程。移方程。状态转移方程状态转移方程给定了第给定了第B B阶段的状态阶段的状态B2B2，本阶段决策，本阶段决策d dk k(S(Sk k)是是B2C3(1)B2C3(1)则第则第C C阶段的状态阶段的状态S SC C ：S SC C=T=TB B(B2,B2C3(1)=C3(B2,B2C3(1)=C3类似有：类似有：S SC C=T=TB B(B1,B1C1(4)=C1(B1,B1C1(4)=C1上班路线问题状态转移方程上班路线问题状态转移方程用于衡量所选定策略优劣的数量指标称为指标函数。阶段指标函数：vk(sk,dk(sk)过程指标函数：fk(sk,pk(sk)最优指标函数记为f*k(sk)。指标函数u阶段指标函数：阶段指标函数：v vB B(s(sB B,d,dB B(s(sB B),),当当S SB B为为B2B2，d dB B(B2)(B2)选择选择B2 C3B2 C3，则该指标函数的取值是：则该指标函数的取值是：v vB B(B2,d(B2,dB B(B2)=1(B2)=1 u过程指标函数：过程指标函数：f fB B(s(sB B,p,pB B(s(sB B)，当，当S SB B为为B2B2时的取值与从时的取值与从B2B2到到F F的策略相关，的策略相关，其最优解其最优解f*f*B B(B2)(B2)是策略为是策略为B2 C2 D2 E2 FB2 C2 D2 E2 F的取值的取值1010。上班路线问题状态转移方程从过程的最后一段开始，用逆序递推方从过程的最后一段开始，用逆序递推方法求解，逐步求出各段各点到终点法求解，逐步求出各段各点到终点E E最短最短路线，路线，最后求出最后求出A A点到点到E E点的最短路线。点的最短路线。动态规划的基本思想动态规划函数基本方程f*t(st)=0;/初始条件,终点最优值 f*k(sk)=minvk(sk,dk)+f*k+1(sk+1)k=t-1,2,1d dk kDDk k机器负荷分配问题设有设有 100 100 台同一规格的完好自动机床，每台台同一规格的完好自动机床，每台机床全年在高负荷下工作可创利机床全年在高负荷下工作可创利 9 9 万元，折万元，折损率为损率为 0.750.75；在低负荷下工作可创利；在低负荷下工作可创利 6 6 万元，万元，折损率为折损率为 0.960.96。试拟定连续四年的分配计划，。试拟定连续四年的分配计划，使总利润为最大。使总利润为最大。机器负荷分配问题：动态模型阶段：设k=1，2，3，4 表示年度状态：sk=第k年初（第 k-1 年末）拥有的全额机床当量台数（有效台年）决策：xk=第k年度分配于高负荷下工作的机床当量台数；状态转移方程：sk+1=0.75xk+0.96(sk-xk)=0.96sk0.21xk阶段指标函数：vk(sk,xk)=9xk+6(skxk)=3xk+6sk最少费用运输问题QTA1A2A3B1B2B3C1C224374632441514633334出出发发城城市市海海港港城市城市A城市城市B城市城市C3个转运点个转运点3个转运点个转运点2个转运点个转运点34最少费用运输问题QTA1A2A3B1B2B3C1C224374632441514633334出出发发城城市市海海港港城市城市A城市城市B城市城市C3个转运点个转运点3个转运点个转运点2个转运点个转运点34476最少费用运输问题QTA1A2A3B1B2B3C1C224374632441514633334出出发发城城市市海海港港城市城市A城市城市B城市城市C3个转运点个转运点3个转运点个转运点2个转运点个转运点344761178最少费用运输问题QTA1A2A3B1B2B3C1C224374632441514633334出出发发城城市市海海港港城市城市A城市城市B城市城市C3个转运点个转运点3个转运点个转运点2个转运点个转运点34476117811最少费用运输问题QTA1A2A3B1B2B3C1C224374632441514633334出出发发城城市市海海港港城市城市A城市城市B城市城市C3个转运点个转运点3个转运点个转运点2个转运点个转运点34476117811kSkxkvkfk=vk+fk+1*fk*pk*4C1T33+03C1TC2T44+04C2T3B1C1C2141+34+44B1C1TB2C1C2636+33+47B2C2TB3C1C2333+33+46B3C1T2A1B1B2B37467+44+76+61111A1B1C1TA1B2C2TA2B1B2B33243+42+74+67A2B1C1TA3B1B2B34154+41+75+688A3B1C1TA3B2C2T1QA1A2A32432+114+73+81111QA2B1C1TQA3B1C1T，QA3B2C2T动态规划求解表作为整个过程的最优策略具有这样的性质，作为整个过程的最优策略具有这样的性质，即无论过去的状态和决策如何，对前面的决即无论过去的状态和决策如何，对前面的决策所形成的状态而言，余下的诸决策必须构策所形成的状态而言，余下的诸决策必须构成最优策略。这就是说，不管引导到这个现成最优策略。这就是说，不管引导到这个现时状态的头一个状态和决策是什么，所有的时状态的头一个状态和决策是什么，所有的未来决策应是最优的。未来决策应是最优的。贝尔曼(Ballman)最优化原理可把一个N维优化问题化成N个一维优化问题求解。DP方程中附加某些约束条件，可使求解更加容易。求得最优解以后，可得所有子问题的最优解。动态规划的优点“一个一个”问题，问题，“一个一个”模型，模型，“一个一个”求解方法。且求解技巧要求求解方法。且求解技巧要求比较高，没有统一处理方法。比较高，没有统一处理方法。状态变量维数不能太高，一般要求状态变量维数不能太高，一般要求小于小于6 6。动态规划的缺点