最优控制理论.ppt

最最 优优 控控 制制 理理 论与论与 应应 用用 Optimal Control Theory Optimal Control Theory and Applicationand Application 主讲：主讲：xxx主主 要要 内内 容容 1 1 最优控制问题最优控制问题2 2 求解最优控制的变分方法求解最优控制的变分方法3 3 最大值原理最大值原理与应用与应用5 5 动态规划动态规划4 4 线性二次型性能指标的最优控制线性二次型性能指标的最优控制6 6 对策论与最大最小控制对策论与最大最小控制最优控制理论最优控制理论 现代控制理论的重要组成部分；现代控制理论的重要组成部分；2020世纪世纪5050年代年代 发展形成系统的理论；发展形成系统的理论；（动态规划、最大值原理）（动态规划、最大值原理）中心问题中心问题 给定一个控制系统，选择控制规律，给定一个控制系统，选择控制规律，使系统在某种意义上是最优的；使系统在某种意义上是最优的；应用应用 在各个领域中得到应用，效益显著。在各个领域中得到应用，效益显著。前前 言言 例例1.1 1.1 飞船软着陆问题飞船软着陆问题 ：飞船软着陆：在：飞船软着陆：在月球表面着陆时速度必须为零，由发动机月球表面着陆时速度必须为零，由发动机的推力变化来完成。的推力变化来完成。1 1 最优控制问题最优控制问题1.1 1.1 一个实例一个实例 月球月球问题：如何选择推力，使燃料消耗最少。问题：如何选择推力，使燃料消耗最少。高度高度垂直速度垂直速度飞船的质量飞船的质量月球重力加速度常数月球重力加速度常数飞船自身质量飞船自身质量发动机推力发动机推力燃料的质量燃料的质量F初始条件：初始条件：登月舱初始质量登月舱初始质量 初始高度初始高度 初始速度初始速度 初始时间，初始时间，末端时间末端时间常数常数模型抽象模型抽象 边界条件边界条件 初始条件初始条件 末端条件末端条件 控制约束：控制约束：（发动机最（发动机最大推力）大推力）性能指标：选择性能指标：选择 使使 燃料最省燃料最省1.2 1.2 问题描述问题描述(1)(1)状态方程状态方程 一般形式为一般形式为 为为n n维状态向量维状态向量 为为r r维控制向量维控制向量 为为n n维向量函数维向量函数 给定控制规律给定控制规律 满足一定条件时，方程有唯一解满足一定条件时，方程有唯一解(2)(2)容许控制容许控制 ：,有时控制域可为超方体有时控制域可为超方体 (3)(3)目标集目标集 q维向量函数维向量函数 固定端问题固定端问题 自由端问题自由端问题 (4)(4)性能指标性能指标 对状态、控制以及终点状态的要求，复合型性能对状态、控制以及终点状态的要求，复合型性能指标。指标。积分型性能指标，表示对整个状积分型性能指标，表示对整个状态和控制过程的要求。态和控制过程的要求。终点型指标，表示仅对终点状态终点型指标，表示仅对终点状态的要求。的要求。2 2 求解最优控制的变分方法求解最优控制的变分方法（回顾：函数极值（回顾：函数极值 ）回顾回顾:静态最优化问题的解静态最优化问题的解 -函数极值函数极值 (一一)一元函数的极值一元函数的极值：(二二)多元函数的极值多元函数的极值三、具有等式约束条件极值的解法拉格朗日三、具有等式约束条件极值的解法拉格朗日乘子法将具有等式约束条件的极值问题化为约束乘子法将具有等式约束条件的极值问题化为约束条件的极值问题来求解条件的极值问题来求解（一）拉格朗日函数（一）拉格朗日函数（二）拉格朗日函数（二）拉格朗日函数H H极值的解法极值的解法2 2 求解最优控制的变分方法求解最优控制的变分方法2.1 2.1 泛函与变分法基础泛函与变分法基础平面上两点连线的长度问题平面上两点连线的长度问题 其弧长为其弧长为行程问题行程问题一般来说，曲线不同，弧长就不同，即弧长依赖一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为于曲线，记为 。，称为泛函。，称为泛函。，称泛函的宗量，称泛函的宗量。泛函与函数的几何解释泛函与函数的几何解释 宗量的变分宗量的变分 线性泛函线性泛函 泛函对宗量是线性的泛函对宗量是线性的连续泛函连续泛函：宗量的变分趋于无穷小时，泛函的变宗量的变分趋于无穷小时，泛函的变分也趋于无穷小分也趋于无穷小.泛函的变分：泛函的变分：Jd=泛函的增量泛函的增量 此时此时,称称泛函是可微的。泛函是可微的。是是的高阶无穷小量，则的高阶无穷小量，则若若定理定理2.1 2.1 泛函的变分为泛函的变分为 证明证明例例2.1 2.1 求泛函的变分求泛函的变分 定理定理2.2 2.2 若泛函若泛函在在x有极有极值值，则则必有必有上述方法与结论对于包含多变量函数的泛数同样适用上述方法与结论对于包含多变量函数的泛数同样适用。2.2 2.2 欧拉方程欧拉方程泛函泛函 有二阶连续偏导数有二阶连续偏导数 两端固定两端固定 变分变分 分部积分分部积分 例例2.2 2.2 求平面上两固定点间连线最短的曲线求平面上两固定点间连线最短的曲线 ，直线直线 2.3 2.3 横截条件横截条件左端固定右端沿曲线变动左端固定右端沿曲线变动 终点值与终点的变分终点值与终点的变分 横截横截条件条件 例例2.3 2.3 从一固定点到已知曲线有最小长度的曲线从一固定点到已知曲线有最小长度的曲线 所求的极值曲线与约束曲线相正交。所求的极值曲线与约束曲线相正交。欧拉方程欧拉方程 积分积分求解求解计算计算横截条件横截条件直直线线 2.4 2.4 含有多个未知函数泛函的极值含有多个未知函数泛函的极值 泛函泛函 欧拉方程欧拉方程 边界值边界值 横截条件横截条件 2.5 2.5 条件极值（有约束）条件极值（有约束）状态方程状态方程 泛函泛函 引进乘子引进乘子 构造新的函构造新的函数和泛函数和泛函 欧拉方程欧拉方程 约束方程约束方程 例例2.4 2.4 泛函泛函约束方程约束方程 边界条件边界条件 试试求求使泛函使泛函有极有极值值。解：化为标准形式解：化为标准形式 把问题化为标准形式，令把问题化为标准形式，令例例2.6约束方程可定为约束方程可定为边界条件为边界条件为引进乘子引进乘子构造函数构造函数欧拉方程欧拉方程 解出解出 其中，其中，和和为为任意常数。任意常数。代入代入约约束方程，并求解可得束方程，并求解可得将将利用边界条件，可得：利用边界条件，可得：于是，极于是，极值值曲曲线线和和为为：2.6.1 2.6.1 自由端问题自由端问题约束方程约束方程 新的泛函新的泛函 有有令令哈米顿函数哈米顿函数 2.6 2.6 最优控制问题的变分解法最优控制问题的变分解法变分变分则则伴随方程伴随方程 控制方程控制方程横截条件横截条件 例例2.5 2.5 考虑状态方程和初始条件为考虑状态方程和初始条件为的简单一阶系统，其指标泛函为的简单一阶系统，其指标泛函为，使，使其中其中，给给定，定，试试求最求最优优控制控制有极小有极小值值。伴随方程伴随方程 边界条件边界条件 控制方程控制方程 解解:引引进进伴随伴随变变量量，构造哈米，构造哈米顿顿函数函数则最优控制为则最优控制为 得得代入状态方程求解得代入状态方程求解得令令，则则有有2.6.2 2.6.2 固定端问题固定端问题，性能指标性能指标 边界条件边界条件 指标泛函指标泛函 哈米顿函数哈米顿函数 伴随方程伴随方程 ，例例2.6 2.6 重解例重解例2.42.4 其解为其解为 约束方程约束方程 引入拉格朗日乘子向量，得新的泛函引入拉格朗日乘子向量，得新的泛函 2.6.3 2.6.3 终端时刻自由，终端状态受限问题终端时刻自由，终端状态受限问题终端约束终端约束 性能指标性能指标 有有 令令H函数函数 而而 于是于是 于是于是，取极值的必要条件得取极值的必要条件得由由问题描述问题描述系统状态方程系统状态方程 性能指标性能指标 t0,tf 固定固定,自由，自由，u可以有约束，也可以有约束，也可无约束。可无约束。3 3 最小值原理最小值原理3.1 3.1 古典变分法的局限性古典变分法的局限性u(t t)受限的例子受限的例子 矛盾矛盾!例例3.13.1伴随方程伴随方程 极值必要条件极值必要条件 3.2 3.2 最小值原理最小值原理且且 定理定理3.1(最小值原理最小值原理)设为设为容许控制，容许控制，为对应的积分轨线，为使为对应的积分轨线，为使为最优控制，为最优控制，为最优轨线，必存在一向量函数为最优轨线，必存在一向量函数，使得，使得和和满足正则方程满足正则方程 最最小小值值原原理理只只是是最最优优控控制制所所满满足足的的必必要要条条件件。但但对于线性系统对于线性系统 ，最小值原理也是使泛函取最小值得充分条件。最小值原理也是使泛函取最小值得充分条件。例例3.2 3.2 重解例重解例3.13.1，哈密顿函数哈密顿函数 伴随方程伴随方程 由极值必要条件，知由极值必要条件，知 ，又又于是有于是有，协协态态变变量量与与控控制制变变量量的的关关系系图图,，例例3.3 3.3 性能指标泛函性能指标泛函 哈密顿函数哈密顿函数 伴随方程伴随方程 ，上有上有 协态变量与控制变量的关系图协态变量与控制变量的关系图 整个最优轨线整个最优轨线 例例3.43.4 把系统状态在终点时刻转移到把系统状态在终点时刻转移到 性能指标泛函性能指标泛函 终点时刻是不固定的终点时刻是不固定的 哈米顿函数哈米顿函数 伴随方程伴随方程，H是是u的的二二次次抛抛物物线线函函数数，u在在 上上一一定定使使H有最小值，可能在内部，也可能在边界上。有最小值，可能在内部，也可能在边界上。最优控制可能且只能取三个值最优控制可能且只能取三个值 此二者都不能使状态变量同此二者都不能使状态变量同时满足初始条件和终点条件时满足初始条件和终点条件 ，最优控制最优控制 最优轨线最优轨线 最优性能指标最优性能指标 例例3.53.5 使系统以最短时间从给定初态转移到零态使系统以最短时间从给定初态转移到零态 哈米顿函数哈米顿函数 伴随方程伴随方程 最优控制切换及最优轨线示意图最优控制切换及最优轨线示意图 3.3 3.3 古典变分法与最小值原理古典变分法与最小值原理古古典典变变分分法法适适用用的的范范围围是是对对u u无无约约束束，而而最最小小值值原原理一般都适用。特别当理一般都适用。特别当u u不受约束时，条件不受约束时，条件就等价于条件就等价于条件4 4 线性二次型性能指标的最优控制线性二次型性能指标的最优控制 用最大值原理求最优控制，求出的最优控制用最大值原理求最优控制，求出的最优控制 通常是时间的函数，这样的控制为开环控制通常是时间的函数，这样的控制为开环控制 当用开环控制时，在控制过程中不允许有任当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。何干扰，这样才能使系统以最优状态运行。在实际问题中，干扰不可能没有，因此工程在实际问题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间上总希望应用闭环控制，即控制函数表示成时间和状态的函数。和状态的函数。求解这样的问题一般来说是很困难的。求解这样的问题一般来说是很困难的。但对于线性，且指标是二次型的动态系统，却但对于线性，且指标是二次型的动态系统，却得了较好的解决。不但理论比较完善，数学处理简得了较好的解决。不但理论比较完善，数学处理简单，而且在工程实际中又容易实现，因而有着广泛单，而且在工程实际中又容易实现，因而有着广泛的工程应用。的工程应用。4.1 4.1 问题提法问题提法动态方程动态方程 指标泛函指标泛函 使使求求有最小有最小值值.其中其中是理想输出是理想输出是实际输出是实际输出（1）状）状态调节态调节器器问题问题此此问题问题称称线线性二次型性能指性二次型性能指标标的最的最优优控制控制问题问题。通常称通常称为综为综合控制函数合控制函数当当时时。（2）伺服跟踪）伺服跟踪问题问题当当时时。指标泛函的物理意义指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。积分项，被积函数由两项组成，都是二次型。第第一一项项跟跟踪踪误误差差的的惩惩罚罚。要要求求每每个个分分量量越越小小越越好好，但但每每一一个个分分量量不不一一定定同同等等重重要要，所所以以用用加加权权来来调调整整，当权为零时，对该项无要求。当权为零时，对该项无要求。第第二二项项控控制制能能量量消消耗耗的的惩惩罚罚。对对每每个个分分量量要要求求不不一一样样，因因而而进进行行加加权权。要要求求正正定定，一一方方面面对对每每个个分分量量都都应应有有要要求求，否否则则会会出出现现很很大大幅幅值值，在在实实际际工工程程中实现不了；另一方面，在计算中需要有逆存在。中实现不了；另一方面，在计算中需要有逆存在。指指标标中中的的第第一一项项是是对对终终点点状状态态的的要要求求，由由于于对对每每个分量要求不同，用加权阵来调整。个分量要求不同，用加权阵来调整。4.2.1 4.2.1 末端自由问题末端自由问题构造哈密顿函数构造哈密顿函数 伴随方程及边界条件伴随方程及边界条件 最优控制应满足最优控制应满足 4.2 4.2 状态调节器状态调节器求导（矩阵黎卡提微分方程）（矩阵黎卡提微分方程）边界条件边界条件 令令最优控制是状态变量的线性函数最优控制是状态变量的线性函数借助状态变量的线性反馈可实现闭环最优控制借助状态变量的线性反馈可实现闭环最优控制 最优控制最优控制 对称半正定阵对称半正定阵 例例4.14.1 性能指标泛函性能指标泛函 最优控制最优控制 黎卡提微分方程黎卡提微分方程 最优轨线最优轨线 最优控制最优控制 最优轨线的微分方程最优轨线的微分方程 解解 黎卡提方程的解黎卡提方程的解 随终点时间变化的随终点时间变化的黎卡提方程的解黎卡提方程的解 4.2.2 4.2.2 的情况的情况性能指性能指标标 无限无限长时间调节长时间调节器器问题问题 黎卡提方程黎卡提方程 边边界条件界条件 最最优优控制控制 最最优优指指标标 4.2.3 4.2.3 定常系统定常系统完全可控完全可控 指标泛函指标泛函 矩阵代数方程矩阵代数方程 最优控制最优控制 最优指标最优指标 例例4.24.2 黎卡提方程黎卡提方程 4.3 4.3 输出调节器输出调节器输出调节器问题输出调节器问题状态调节器问题状态调节器问题 指标泛函指标泛函 令令4.4 4.4 跟踪问题跟踪问题问题的提法问题的提法 已知的理想输出已知的理想输出 偏差量偏差量 指标泛函指标泛函 寻求控制规律使性能指标有极小值。寻求控制规律使性能指标有极小值。物物理理意意义义：在在控控制制过过程程中中，使使系系统统输输出出尽尽量量趋趋近理想输出，同时也使能量消耗最少。近理想输出，同时也使能量消耗最少。指标泛函指标泛函 哈密顿函数哈密顿函数 设设并微分并微分的任意性的任意性 最优控制最优控制 最优轨线方程最优轨线方程 最优性能指标最优性能指标 例例4.34.3，性能指标性能指标 最优控制最优控制，最优控制最优控制 极限解极限解 闭环控制系统结构闭环控制系统结构 5 5 动态规划动态规划动态规划是求解最优控制的又一种方法，动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而且得特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源于多出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。尔曼动态规划。5.1 5.1 多级决策过程与最优性原理多级决策过程与最优性原理作为例子，首先分析最优路径问题作为例子，首先分析最优路径问题(a)(b)(c)试试分分析析(a),(b)(a),(b)和和(c)(c)三三种种情情况况的的最最优优路路径径，即即从从 走走到到 所所需需时时间间最最少少。规规定定沿沿水水平平方方向向只能前进不能后退。只能前进不能后退。利用穷举法，易知：利用穷举法，易知：(a)(a)有有2 2条条路路径径，只只需需计计算算2 21=21=2次次加加法法，上上面面一条所需时间最少。一条所需时间最少。(b)(b)有有6 6条条路路径径可可达达终终点点，需需计计算算6 63=183=18次次加加法，经比较，可找出一条时间最短的路程。法，经比较，可找出一条时间最短的路程。(c)(c)则则需需计计算算20205=1005=100次次加加法法，才才可可得得出出结结果果，计算量显著增大了。计算量显著增大了。逆向分级计算法逆向分级计算法 逆逆向向是是指指计计算算从从后后面面开开始始，分分级级是是指指逐逐级级计计算。逆向分级就是从后向前逐级计算。算。逆向分级就是从后向前逐级计算。以以(c)(c)为例为例 从倒数第一级开始，状态有两个，分别为从倒数第一级开始，状态有两个，分别为 和和 在在处处，只有一条路到达，只有一条路到达终终点，其点，其时间时间是是；在在 处，也只有一条，时间为处，也只有一条，时间为1 1。后一条时间最短，。后一条时间最短，将此时间相应地标在将此时间相应地标在 点上点上。并将此点到并将此点到终终点的最点的最优优路径画上箭路径画上箭头头。然后再考虑第二级然后再考虑第二级 只有一种选择，到终点所需时间是只有一种选择，到终点所需时间是 有两条路，比较后选出时间最少的一条，即有两条路，比较后选出时间最少的一条，即4+1=54+1=5。用箭头标出。用箭头标出(最优路径最优路径)也标出时间也标出时间(最优路径最优路径)依此类推，最后计算初始位置依此类推，最后计算初始位置 求得最优路径求得最优路径 最短时间为最短时间为 1313(最优路径最优路径)最优路径示意图最优路径示意图 多级过程多级过程 多级决策过程多级决策过程 目标函数目标函数 控制目的控制目的 选择决策序列选择决策序列 使目标函数取最小值或最大值。使目标函数取最小值或最大值。实际上就是离散状态的最优控制问题。实际上就是离散状态的最优控制问题。最优性原理最优性原理 在在一一个个多多级级决决策策问问题题中中的的最最优优决决策策具具有有这这样样的的性性质质，不不管管初初始始级级、初初始始状状态态和和初初始始决决策策是是什什么么，当当把把其其中中任任何何一一级级和和状状态态做做为为初初始始级级和和初初始始状状态态时，余下的决策对此仍是最优决策。时，余下的决策对此仍是最优决策。指标函数多是各级指标之和，即具有可加性指标函数多是各级指标之和，即具有可加性 最优性原理的数学表达式最优性原理的数学表达式 5.2 5.2 离散系统动态规划离散系统动态规划阶阶离散系离散系统统 性能指标性能指标 求决策向量求决策向量 使使 有最小值（或最大值），其终点可自由，有最小值（或最大值），其终点可自由，也可固定或受约束。也可固定或受约束。记记 应用最优性原理应用最优性原理 可建立如下递推公式可建立如下递推公式 贝尔曼动态规划方程贝尔曼动态规划方程 例例5.2 5.2 设一阶离散系统，状态方程和初始条件为设一阶离散系统，状态方程和初始条件为性能指标性能指标 求使求使 有最小值的最优决策序列和最优轨线序列有最小值的最优决策序列和最优轨线序列 指标可写为指标可写为 代入代入 上一级上一级代入状态方程代入状态方程 最优决策序列最优决策序列 最最优轨线优轨线 5.3 5.3 连续系统的动态规划连续系统的动态规划性能指标性能指标 目标集目标集 引进记号引进记号 根据最优性原理及根据最优性原理及由泰勒公式，得由泰勒公式，得 由中值定理，得由中值定理，得 连续型动态规划方程连续型动态规划方程 实实际际上上它它不不是是一一个个偏偏微微分分方方程程，而而是是一一个个函函数数方程和偏微分方程的混合方程方程和偏微分方程的混合方程 满足连续型动态规划方程，有满足连续型动态规划方程，有 设设边界条件边界条件 动动态态规规划划 动动态态规规划划方方程程是是最最优优控控制制函函数数满满足足的的充充分分条条件件；解解一一个个偏偏微微分分方方程程；可可直直接接得得出出综综合合函函数数 ；动动态态规规划划要要求求 有有连连续续偏导数偏导数最最大大值值原原理理 最最大大值值原原理理是是最最优优控控制制函函数数满满足足的的必必要要条条件件；解解一一个个常常微微分分方方程程组组；最最大大值值原原理理则则只求得只求得 。例例5.3 5.3 一阶系统一阶系统，性能指标性能指标 动态规划方程动态规划方程 右端对右端对u u求导数，令其导数为零，则得求导数，令其导数为零，则得 5.4 5.4 动态规划与最大值原理的关系动态规划与最大值原理的关系变变分分法法、最最大大值值原原理理和和动动态态规规划划都都是是研研究究最最优优控控制制问问题题的的求求解解方方法法，很很容容易易想想到到，若若用用三三者者研研究究同同一一个个问问题题，应应该该得得到到相相同同的的结结论论。因因此此三三者者应应该该存存在在着着内内在在联联系系。变变分分法法和和最最大大值值原原理理之之间间的的关关系系前前面面已已说说明明，下下面面将将分分析析动动态态规规划划和和最最大大值值原原理理的的关关系系。可可以以证证明明，在在一一定定条条件件下下，从从动态规划方程能求最大值原理的方程。动态规划方程能求最大值原理的方程。动态规划方程动态规划方程 令令哈米顿函数哈米顿函数 最大值原理的必要条件最大值原理的必要条件 6 6 对策论与极大极小控制对策论与极大极小控制对策论对策论-双方控制问题双方控制问题 矛盾冲突活动中，局中双方采取何种合理矛盾冲突活动中，局中双方采取何种合理的策略而使自己处于的策略而使自己处于“优越优越”地位的理论。地位的理论。6.1 离散对策离散对策(矩阵对策矩阵对策)零和对策：博弈的对方的支付就是自己的赢得，零和对策：博弈的对方的支付就是自己的赢得，支付与赢得之和为支付与赢得之和为0。纯策略解：博弈过程中不管谁先开局都存在纯策略解：博弈过程中不管谁先开局都存在唯一的最优对策解。唯一的最优对策解。矩阵对策存在纯策略解的条件：矩阵对策存在纯策略解的条件：博弈过程中不管谁先开局都存在唯一的最博弈过程中不管谁先开局都存在唯一的最优对策解。优对策解。矩阵对策存在纯策略解的条件：矩阵对策存在纯策略解的条件：设对策的支付矩阵为设对策的支付矩阵为L，u（行）（行），v（列）是博弈的双方，此时（列）是博弈的双方，此时v方力图使方力图使u支付最大，而支付最大，而 u方则试图使之最小。方则试图使之最小。对局中人对局中人v来讲，对来讲，对L中的每一列取其中的中的每一列取其中的最小值最小值，（最坏情况），再（最坏情况），再从这些列的最小值中取最大值从这些列的最小值中取最大值 （最坏情况下的最好结果最坏情况下的最好结果），），对局中人对局中人u来来讲，对讲，对L中的每一列取其中的最大值中的每一列取其中的最大值，（最坏情况），再从这（最坏情况），再从这些列的最小值中取最大值些列的最小值中取最大值 （最坏最坏情况下的最好结果情况下的最好结果）。如果）。如果 定理定理1 零和矩阵对策有极小极大解充要条件：零和矩阵对策有极小极大解充要条件：存在一个最优对策解存在一个最优对策解（i*，j*），使），使 对应对应i*行行j*列的对策列的对策 或简写为称或简写为称为（或称最优纯策略）。为（或称最优纯策略）。V是对策值，则称存在极小极大解，对应是对策值，则称存在极小极大解，对应i*行行j*列的对策列的对策 或简写为或简写为（i*，j*）称）称为对策的最优解（或称最优纯策略）。为对策的最优解（或称最优纯策略）。若若u与与v的选择为连续值时（即可有无限个的选择为连续值时（即可有无限个对策），则有一个连续的支付函数对策），则有一个连续的支付函数 ，而非离散的支付矩阵而非离散的支付矩阵 。现在要找一对。现在要找一对最优的最优的 ，使得使得7.2 连续对策连续对策，上式表明上式表明 是是L的一个鞍点。的一个鞍点。有鞍点的必要条件为有鞍点的必要条件为充要条件为充要条件为7.3 微分对策微分对策给定动态系统给定动态系统终端约束终端约束性能指标性能指标 引入哈密顿函数引入哈密顿函数得新的泛函得新的泛函 如果如果 是其最优解，则是其最优解，则 一起满足一起满足 特别地，当状态方程和性能指标函数的被特别地，当状态方程和性能指标函数的被积函数可分解为一部分仅与策略积函数可分解为一部分仅与策略u有关，另一有关，另一部分仅与策略部分仅与策略v有关时，即有关时，即 上述最优策略的必要条件也是充分条件。上述最优策略的必要条件也是充分条件。8 8 快速控制系统快速控制系统在实际问题中，经常发生以时间为性能指标的在实际问题中，经常发生以时间为性能指标的控制问题。控制问题。如，当被控对象受干扰后，偏离了平衡状态，如，当被控对象受干扰后，偏离了平衡状态，希望施加控制能以最短时间恢复到平衡状态。希望施加控制能以最短时间恢复到平衡状态。凡是以运动时间为性能指标的最优控制问题称凡是以运动时间为性能指标的最优控制问题称为最小时间控制。为最小时间控制。8.1 8.1 快速控制问题快速控制问题性能指标性能指标 时间时间上限上限是可是可变变的的 从状从状态态转转移平衡状移平衡状态态所需所需时间时间最短最短 构造哈密构造哈密顿顿函数函数 最小最小值值原理原理 分段常分段常值值函数函数 例例8.1 8.1 有有一一单单位位质质点点，在在 处处以以初初速速度度2 2沿沿直直线线运运动动。现现施施加加一一力力 ，使使质质点点尽尽快快返返回回原原点点，并并停停留留在在原原点点上上。力力 简简称称为控制。若其它阻力不计，试求此控制力。为控制。若其它阻力不计，试求此控制力。质点运动方程质点运动方程 状态方程状态方程 哈密顿函数哈密顿函数 伴随方程伴随方程 最优控制最优控制 协态变量与控制函数协态变量与控制函数4种情况示意图种情况示意图 相轨线族示意图相轨线族示意图 开开关曲线关曲线 开关曲线开关曲线 总时间总时间 初始状态初始状态 最优控制最优控制 状态方程状态方程 相轨线相轨线 最优控制最优控制 8.2 8.2 综合问题综合问题 综合是将最优控制函数表示为状态和时间的函数综合是将最优控制函数表示为状态和时间的函数即即上例之最优综合控制函数上例之最优综合控制函数 例例8.28.2 求快速返回原点的开关曲线和最优综合控制函数求快速返回原点的开关曲线和最优综合控制函数 构造哈密顿函数构造哈密顿函数 伴随方程伴随方程 最优控制最优控制 最优控制与协态变量的变化情况最优控制与协态变量的变化情况 控控制制是是“砰砰砰砰控控制制”，除除了了首首尾尾之之外外，在在和和上的停留时间均为上的停留时间均为 备备选选最最优优轨轨线线族族 两族同心圆方程两族同心圆方程 相点沿轨线顺时针方向运动，其速度为相点沿轨线顺时针方向运动，其速度为开关曲线开关曲线 第二段开关曲线第二段开关曲线 整个开关曲线整个开关曲线 最优综合控制函数最优综合控制函数 最优控制理论最优控制理论 上世纪上世纪5050年代初年代初 问题比较简单问题比较简单 二阶定常系统二阶定常系统 方法比较特殊方法比较特殊 借助于几何图形借助于几何图形 动态系统的最优化问题乃是一个变分问题动态系统的最优化问题乃是一个变分问题 变变分法分法 开集开集 最优控制问题最优控制问题 闭集闭集 发展变分法发展变分法 两种方法两种方法 庞特里雅金庞特里雅金 前苏联学者前苏联学者 极大值原理极大值原理 贝尔曼贝尔曼 美国学者美国学者 动态规划动态规划 应用在过程控制、国防建设、经济规划、管理应用在过程控制、国防建设、经济规划、管理 多个分支多个分支 分分布布参参数数的的最最优优控控制制、随随机机最最优优控控制制、大大系系统统最最优控制以及多方多层次的微分对策和主从对策等优控制以及多方多层次的微分对策和主从对策等