马尔科夫预测.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,马尔柯夫预测法,第三节 马尔柯夫预测,马尔柯夫（,A.A Markov,）预测法是应用,概率论,中马尔柯夫链的理论和方法来研究,随机事件,变化并借此分析,预测未来变化趋势,的一种方法。,马尔柯夫（,A.A Markov,俄国数学家）。,基本概念,稳态概率,实例,第三节 马尔可夫决策,例,6-7,我国出口某种设备，在国际市场上的销售状况有两种：畅销和滞销。畅销每年可以获利,100,万元，滞销时每年仅获利,30,万元。以一年为一个时期，如果不采用广告推广产品或采取广告措施，状态的转移矩阵分别为如表,6-5,、表,6-6,所示。,案例引入：实例,2,：,P198,第三节 马尔可夫决策,假定上一年处于畅销状态，每年的广告费为,15,万元。为了保证今后,3,年的利润最大化，是否应该采用广告措施？,畅销,滞销,畅销,0.8,0.2,滞销,0.4,0.6,畅销,滞销,畅销,0.9,0.1,滞销,0.7,0.3,表,6-3,不采取广告措施,表,6-4,采取广告措施,案例引入：例,6-5P194,某企业为使技术人员具有多方面经验，实行技术人员在技术部门，生产部门和销售部门的轮换工作制度。轮换办法采取随机形式，每半年轮换一次，初始状态，即技术人员开始是在某部门工作概率用 表示，,j=1,，,2,，；,p,ij,表示处于第,i,个部门的技术人员在半年后（一步）转移到第,j,个部门的概率。已知,状态转移概率,如果某人开始在工程技术部门工作（部门,1,），则经过,2,次转移后它在生产部门工作（部门,2,）的概率是多少？,一、基本概念,20,世纪初，马尔科夫在研究中发现自然界中有一类事物的变化过程仅与事物的,近期状况有关,，而与事物的过去状态无关。,例：设备维修和更新、人才结构变化、资金流向、市场需求变化等许多经济行为都可用这一类过程来描述或近似。所谓,马尔柯夫链,，就是一种,随机时间序列,，它在将来取什么值只与它现在的取值有关，而与它过去取什么值无关，即,无后效性,。具备这个性质的离散型随机过程，称为,马尔柯夫链,。,一、基本概念,一、马尔可夫链,经济问题采取的行动已经确定，但将这个行动付诸实践的过程又分为几个时期。在不同的时期，系统可以处在不同的状态，而这些状态发生的概率又可受前面时期实际所处状态的影响。,其中一种最简单、最基本的情形，是每一时期状态参数的概率分布只与这一时期的前一时期实际所处的状态有关，而与更早的状态无关，这就是所谓的马尔可夫链。利用马氏过程分析系统当前状态并预测未来状态的决策方法，称为马尔可夫决策。,第三节 马尔可夫决策,一、基本概念,经济学中把这种现象称为,“,无后效性,”,，即,“,系统在每一时刻的状态仅仅取决于前一时刻的状态,”,。,例如，池塘里有三张荷叶，编号为,1,，,2,，,3,，假设有个青蛙在荷叶上随机地跳来跳去，在初始时刻,t,0,，它在第二张荷叶上。在时刻,t,1,，,1,2,3,1,2,3,第三节 马尔可夫决策,一、基本概念,它可能跳到第一张或者第三张荷叶，也可能在原地不动。我们把青蛙在某个时刻所在的荷叶称为青蛙所处的状态，这样，青蛙在未来处于什么状态，只与它现在所处的状态有关，与它以前所处的状态无关，这种性质就是所谓的“无后效性”。,上例中，青蛙所处的那张荷叶，称为青蛙所处的状态，在经济系统的研究中，一种经济现象，在某一时刻,t,所出现的某种结果，就是该系统在该时间,t,所处的状态。,一、基本概念：,状态、状态转移概率、状态转移概率矩阵、初始状态概率向量,（一）、状态与状态变量,状态：,客观事物可能出现或存在的状况。,如：商品可能,畅销,也可能,滞销,；机器运转可能,正常,也可能,故障,等。,同一事物不同状态之间必须,相互独立,:,不能同时存在两种状态。,客观事物的状态不是固定不变的，它可能处于这种状态，也可能处于那种状态，往往条件变化，状态也会发生变化。如某种产品在市场上本来是滞销的，但是由于销售渠道变化了，或者消费心理发生了变化等，它便可能变为畅销产品。,用,状态变量,来表示状态：,它表示随机运动系统，在时刻,所处的状态为,状态转移：,客观事物由一种状态到另一种状态的变化。,如：由于产品质量或替代产品的变化，市场上产品可能由,畅销,变为,滞销,。,（二）、状态转移概率,客观事物可能有 共 种状态，其中每次只能处于一种状态，则每一状态都具有 个转向（包括转向自身即,。,由于状态转移是随机的，因此，必须用概率来描述状态转移可能性的大小，将这种转移的可能性用概率描述，就是,状态转移概率,概率论中的条件概率：,P,（,A,B,）就表达了由状态,B,向状态,A,转移的概率，简称为,状态转移概率,。,对于由状态,E,i,转移到状态,E,j,的概率，称它为从,i,到,j,的转移概率。记为：,它表示由状态,E,i,经过一步转移到状态,E,j,的概率。,第三节 马尔可夫决策,（二,),、状态转移概率,某地区有甲、乙、丙三家食品厂生产同一种食品，有一千个用户（或购货点），假定在研究期间无新用户加入也无老用户退出，只有用户的转移，已知,2009,年,5,月份有,500,户是甲厂的顾客，,400,户是乙厂的顾客，,100,户是丙厂的顾客，,6,月份，甲厂有,400,户原来的顾客，上月的顾客有,50,户转乙厂，,50,户转丙厂；乙厂有,300,户原来的顾客，上月的顾客有,20,户转甲厂，,80,户转丙厂；丙厂有,80,户原来的顾客，上月的顾客有,10,户转甲厂，,10,户转乙厂。试求状态转移概率。,第三节 马尔可夫决策,甲,乙,丙,合计,甲,乙,丙,400,20,10,50,300,10,50,80,80,500,400,100,合计,430,360,210,1000,表,6-1,顾客,转移表,(,二,),、状态转移概率,到,从,第三节 马尔可夫决策,(,二,),、状态转移概率,(,三,),、状态转移概率矩阵,将事件 个状态的转移概率依次排列起来，就构成一个,N,行,N,列的矩阵，这种矩阵就是,状态转移概率矩阵,。,通常称矩阵,P,为 状态转移概率矩阵，没有特别说明步数时，一般均为一步,转移概率矩阵,。矩阵中的每一行称之为,概率向量,。,转移概率矩阵的特征,?,一、基本概念,状态转移概率矩阵具有如下特征：,（,1,）,（,2,）,状态转移概率矩阵及其基本特征,状态转移概率的估算,主观概率法,（一般缺乏历史统计资料或资料不全情况下使用）,统计估算法。,第三节 马尔可夫决策,二、马尔可夫性,随机过程,如果对任意 都存在,则称 具有马尔可夫性。,第三节 马尔可夫决策,二、马尔可夫链与转移概率矩阵,条件概率,称为转移概率，也称一步转移概率,。,各状态之间的转移概率可记为,例,设味精市场的销售记录共有,6,年,24,个季度的数据，见表。求味精销售转移概率矩阵。,季度,1,2,3,4,5,6,7,8,9,10,11,12,销售,状态,畅,1,畅,1,滞,2,畅,1,滞,2,滞,2,畅,1,畅,1,畅,1,滞,2,畅,1,滞,2,季度,13,14,15,16,17,18,19,20,21,22,23,24,销售,状态,畅,1,畅,1,滞,2,滞,2,畅,1,畅,1,滞,2,畅,1,滞,2,畅,1,畅,1,畅,1,用,“,1,”,表示畅销,用,“,2,”,表示滞销,季度,1,2,3,4,5,6,7,8,9,10,11,12,销售,状态,畅,1,畅,1,滞,2,畅,1,滞,2,滞,2,畅,1,畅,1,畅,1,滞,2,畅,1,滞,2,季度,13,14,15,16,17,18,19,20,21,22,23,24,销售,状态,畅,1,畅,1,滞,2,滞,2,畅,1,畅,1,滞,2,畅,1,滞,2,畅,1,畅,1,畅,1,共,24,个季度数据，其中有,15,个季度畅销，,9,个季度滞销，现分别统计出,:,连续畅销、由畅转滞、由滞转畅和连续滞销,的次数。,以,p,11,表示,连续畅销,的可能性，以频率代替概率，得：,?,分子,7,是表中连续出现畅销的次数，分母,15,是表中出现畅销的次数，因为第,24,季度是畅销，无后续记录，故减,1,。,2,个状态,:,“,1,”,畅销,“,2,”,滞销,季度,1,2,3,4,5,6,7,8,9,10,11,12,销售,状态,畅,1,畅,1,滞,2,畅,1,滞,2,滞,2,畅,1,畅,1,畅,1,滞,2,畅,1,滞,2,季度,13,14,15,16,17,18,19,20,21,22,23,24,销售,状态,畅,1,畅,1,滞,2,滞,2,畅,1,畅,1,滞,2,畅,1,滞,2,畅,1,畅,1,畅,1,以,p,12,表示由畅销转入滞销的可能性：,分子,7,是表中由畅销转入滞销的次数。,以,p,21,表示由滞销转入畅销的可能性：,分子,7,是表中由滞销转入畅销的次数，分母数,9,是表中出现滞销的次数。,2,个状态,:,“,1,”,畅销,“,2,”,滞销,季度,1,2,3,4,5,6,7,8,9,10,11,12,销售,状态,畅,1,畅,1,滞,2,畅,1,滞,2,滞,2,畅,1,畅,1,畅,1,滞,2,畅,1,滞,2,季度,13,14,15,16,17,18,19,20,21,22,23,24,销售,状态,畅,1,畅,1,滞,2,滞,2,畅,1,畅,1,滞,2,畅,1,滞,2,畅,1,畅,1,畅,1,以,p,22,表示连续滞销的可能性：,分子,2,是表中连续出现滞销的次数。,综上所述，得销售,状态转移概率矩阵,为：,第三节 马尔可夫决策,例：某经济系统有三种状态,E,1,，,E,2,，,E,3,（比如畅销，一般，滞销）。系统状态转移情况如表，试求系统的二步状态转移概率矩阵。,系统下步所处状态,E,1,E,2,E,3,系统本步,所处状态,E,1,E,2,E,3,21,16,10,7,8,8,14,12,2,状态,次数,状态,（二）、状态转移概率,第三节 马尔可夫决策,（二）、状态转移概率,即,P,即为一步状态转移概率矩阵，二步转移概率矩阵可由一步转移概率矩阵求出,第三节 马尔可夫决策,（二）、状态转移概率,第三节 马尔可夫决策,（二）、状态转移概率,于是,第三节 马尔可夫决策,例题：某商店在最近,20,个月的商品销售量统计记录如下：试预测第,21,月的销售量。,时间,t,销售量,时间,t,销售量,时间,t,销售量,时间,t,销售量,1,2,3,4,5,40,45,80,120,110,6,7,8,9,10,38,40,50,62,90,11,12,13,14,15,110,130,140,120,55,16,17,18,19,20,70,45,80,110,120,表,6-2,商品销售量统计,表 单位：千件,第三节 马尔可夫决策,（二）、状态转移概率,解：,1.,划分状态。,按盈利状况为标准选取,（,1,）销售量,100,千件 属畅销；,2.,计算初始概率,Pi,为了使问题更为直观，绘制销售量散点图，并画出状态分界线,，,第三节 马尔可夫决策,第三节 马尔可夫决策,（二）、状态转移概率,解：由图可以算出处于：,滞销状态的有,M1=7,一般状态的有,M2=5,畅销状态的有,M3=8,3.,计算状态转移概率矩阵,第三节 马尔可夫决策,（二,),、状态转移概率,从而,所以,第三节 马尔可夫决策,(,二,),、状态转移概率,4.,预测第,21,月的销售情况,由于第,20,月的销售量属于畅销状态，而经由一次转移到达三种状态的概率是：,因此，第,21,月超过,100,（千件）的可能性最大。即预测第,21,月的销售状态为,“,畅销,”,。,第三节 马尔可夫决策,(,三,),、马尔可夫链与转移概率矩阵,定义：如果随机过程 满足下述性质，则称 是一个有限状态的马尔可夫链（,Markov,）。,（,1,）具有有限种状态；,（,2,）具有马尔可夫性；,（,3,）转移概率具有平稳性。,第三节 马尔可夫决策,三、稳态概率,称 为稳态概率。,且,因此我们可以从,n,步转移矩阵的 极限,取得稳态概率分布,第三节 马尔可夫决策,三、稳态概率,得,此方程组为稳态方程,三、稳态概率矩阵,:,平稳分布与稳态分布,在马尔可夫链中，已知系统的,初始状态,和,状态转移概率矩阵,，就可推断出系统在,任意,时刻可能所处的状态。,现在需要研究当,k,不断增大时，,P(k),的变化趋势。,1,、平稳分布,如存在,非零向量,X=,(,x,1,，,x,2,，,，,x,N,),，使得：,X P=X,其中：,P,为一概率矩阵,则称,X,为,P,的固定概率向量。,特别地，设,X=,(,x,1,，,x,2,，,，,x,N,),为一,状态,概率向量,，,P,为状态转移概率矩阵，若,X P=X,即：,称,X,为该马尔可夫链的一个,平稳分布,若随机过程某时刻的状态概率向量,P,(,k,),为平稳分布，则称过程处于平衡状态。,（,X P=X,）,一旦过程处于平衡状态，则经过一步或多步状态转移之后，其状态概率分布保持不变，也就是说，过程一旦处于平衡状态后将永远处于平衡状态。,对于所讨论的,状态有限,（即,N,个状态）的马尔可夫链，平稳分布必定存在。,特别地，当状态转移矩阵为,正规概率矩阵,时，平稳分布,唯一,。,正规概率矩阵？,定义,1,：如果,P,为概率矩阵，且存在,m,0,，使,P,m,中诸元素皆非负非零。则称,P,为正规概率矩阵。,例如：,均为正规概率矩阵。,P,1,为正规概率矩阵是明显的（,m=,1,）,P,2,是正规概率矩阵也也易于论证：,即存在（,m=,2,），使,P,2,的元素皆非负非零。,是非正规概率矩阵。,正规概率矩阵的这一性质很有实用价值。,因为在市场占有率是达到平稳分布时，顾客（或用户）的流动将对市场占有率不起影响。即各市场主体丧失的顾客（或用户）与争取到的顾客相抵消。,例：甲乙丙三个食品厂顾客的,32,步转移概率。,二、稳态分布,可以看到每一列都有相同的值。这说明不管初始状态三个食品厂占有多少顾客，经过,32,月之后处于状态,j,的概率都是相同的。,即：经过多次转移之后，系统存在一个处于状态,j,的有限概率，此概率与系统原始状态无关。,二、稳态分布,对概率向量,=,(,1,，,2,，,，,N,),，如对任意的,i,，,j,S,：,则称,为稳态分布。,此时，不管初始状态概率向量如何，均有，,或,这也是称,为稳态分布的理由。,性质？,设存在稳态分布,=,(,1,，,2,，,，,N,),，则由于下式恒成立：,令,k,就得,A,：即有限状态马尔可夫链的稳态分布如存在，那么它也是平稳分布。,B,：当马尔科夫链的状态转移概率矩阵为,正规概率矩阵,时稳态分布存在，且稳态分布和平稳分布,相同,且均,唯一,。,例,：设一马尔可夫链的状态转移矩阵如下，求其平稳分布及稳态分布。,解,：,(1),P,是正规概率矩阵,即存在（,m=,2,），使,P,2,的元素皆非负非零。,(2),求解如下方程组：,这就是该马尔可夫链的,稳态分布,，而且也是,平稳分布,。,5.3,马尔可夫链预测法,马尔可夫链预测方法的最简单类型是预测下期最可能出现的状态。,步骤：,第一步,：划分预测对象所出现的状态。,从预测目的出发，考虑决策需要来划分现象所处的状态。,第二步,：计算初始概率。,据实际问题分析历史资料所得的状态概率称为初始概率。,第三步,：计算状态转移概率,第四步,：根据转移概率进行预测,由状态转移概率矩阵,P,：如果目前预测对象处于状态,E,i,，这时,P,ij,就描述了目前状态,E,i,在未来将转向状态,E,j,（,j,=1,，,2,，,，,N,）的可能性。,按最大可能性作为选择原则：选择（,P,j,1,，,P,j2,，,，,P,jN,）中最大者为预测结果。,第三节 马尔可夫决策,例,6-7,我国出口某种设备，在国际市场上的销售状况有两种：畅销和滞销。畅销每年可以获利,100,万元，滞销时每年仅获利,30,万元。以一年为一个时期，如果不采用广告推广产品或采取广告措施，状态的转移矩阵分别为如表,6-5,、表,6-6,所示。,四、马尔可夫应用实例,第三节 马尔可夫决策,假定上一年处于畅销状态，每年的广告费为,15,万元。为了保证今后,3,年的利润最大化，是否应该采用广告措施？,四、马尔可夫应用实例,畅销,滞销,畅销,0.8,0.2,滞销,0.4,0.6,畅销,滞销,畅销,0.9,0.1,滞销,0.7,0.3,表,6-3,不采取广告措施,表,6-4,采取广告措施,第三节 马尔可夫决策,解：这是短期经营不变策略问题，所以可以把不采用广告措施和采用广告时这三年中每一年畅销、滞销的概率分别求出来，然后计算每一年的利润期望值，通过比较每种措施下三年利润期望值总和，便可得出结论。,四、马尔可夫应用实例,第三节 马尔可夫决策,四、马尔可夫应用实例,第三节 马尔可夫决策,由于上一时期处于畅销状态，因此，如不采取广告措施，第一年畅销和滞销的概率分别为,0.8,和,0.2,，第二年畅销和滞销的概率分别为,0.72,和,0.28,，第三年畅销和滞销的概率分别为,0.688,和,0.312.,所以可以算得，三年所获期望利润值总和,四、马尔可夫应用实例,第三节 马尔可夫决策,四、马尔可夫应用实例,第三节 马尔可夫决策,四、马尔可夫应用实例,比较两式，可知最满意的方案应该是不采取广告策略，其期望利润值总和为,244.56,万元。,第三节 马尔可夫决策,四、马尔可夫应用实例,例,6-6,某生产商标 为的产品的厂商为了与另外两个生产同类产品 和 的厂家竞争，有三种可供选择的措施：（,1,）发放有奖债券；（,2,）开展广告宣传；（,3,）优质售后服务。三种方案分别实施以后，经统计调查可知，该类商品的市场占有率的转移矩阵分别是,第三节 马尔可夫决策,四、马尔可夫应用实例,已知三种商标的商品的月总销售量为一千万件，每件可获利,1,元。另外，三种措施的成本费分别为,150,万，,40,万，,30,万。为长远利益考虑，生产商标为 的产品的厂商应该采取何种措施？,第三节 马尔可夫决策,四、马尔可夫应用实例,解：由于考虑的是长期经营，而且采取的是不变策略，所以采取三种措施的稳态状态概率进行决策。,（,1,）计算出措施,1,的稳态概率为：,第三节 马尔可夫决策,四、马尔可夫应用实例,第三节 马尔可夫决策,（,2,）生产商标为,a,的商标的厂商采取措施后的期望值为,10,7,1,，采取措施前后的纯利润计算如表：,措施,市场占有率,毛利期望值,措施成本费用,纯利润期望值,1,0.5444,544.4,150,394.4,2,0.5,500,40,460,3,0.5,500,30,470,表,6-4,采取措施后的纯利润 单位：万元,四、马尔可夫应用实例,（,3,）计算结果表明，生产商标为,a,的商品的厂商应该采用措施,3,。,实例,3,（市场占有率的预测）,已知在某地区销售同类型产品的有,A,，,B,，,C,三个公司，经过一年营业后进行调查，发现：,1 A,公司的,200,名顾客中有,160,名继续订货，有,20,名转向,B,公司订货，,20,名转向,C,公司订货。,2 B,公司的,500,名顾客中有,450,名继续订货，有,35,名转向,A,公司订货，,15,名转向,C,公司订货。,3 C,公司的,300,名顾客中有,255,名继续订货，有,25,名转向,A,公司订货，,20,名转向,B,公司订货。,如果三个公司在这个地区的初始占有率为,A=22%,，,B=49%,，,C=29%,，且它们都不改变营业状态和规模，问：,（,1,）明年和后年，三个公司在这个地区市场占有率为如何？,（,2,）稳定状态下，三个公司的市场占有率？,解：,根据题意，状态转移矩阵为：,A B C,A 160/200 20/200 20/200,P=B 35/500 450/500 15/500,C 25/300 20/300 255/300,状态转移矩阵为：,A B C,A 0.80 0.10 0.10,P=B 0.07 0.90 0.03,C 0.083 0.067 0.85,今年的市场占有率,u=,（,0.22,0.49,0.29,）,明年的市场占有率,up=,0.80 0.10 0.10,（,0.22,0.49,0.29,）,0.07 0.90 0.03,0.083 0.067 0.85,明年的市场占有率,up,1,=,（,0.234,0.483,0.283,）,后年的市场占有率,up,2,=,（,up,）（,P,）,=,（,0.245,0.477,0.278,）,稳定状态下，市场占有率将是：,(x,1,x,2,x,3,)(P)=(x,1,x,2,x,3,),x,1,+x,2,+x,3,=1,0.800 x,1,+0.070 x,2,+0.083x,3,=x,1,0.100 x,1,+0.900 x,2,+0.067x,3,=x,2,0.100 x,1,+0.030 x,2,+0.850 x,3,=x,3,x,1,+x,2,+x,3,=1,得：,x,1,=0.273 x,2,=0.454 x,3,=0.273,实例,4,（营业点的选择）,某城市出租汽车公司有,A,、,B,、,C,三个汽车站，顾客可以在这三个汽车站任意租车，汽车用完就近开回汽车站，根据一段时间营业后发现，汽车从这三个车站开出和开回的概率如表：,为了扩大营业能力，出租公司打算在这三个汽车站选择一处附设汽车维修站，试问选择何处为好？,解：,假定营业状态稳定发展，,A,、,B,、,C,三个汽车站将拥有全公司汽车概率向量为,（,x,1,x,2,x,3,）,是一个不变向量，由,（,x,1,x,2,x,3,）,P,=,（,x,1,x,2,x,3,）,得到：,x,1,=0.583,x,2,=0.167,x,3,=0.25,说明：,经过长时间营业后，每辆车回到,A,、,B,、,C,三个汽车站概率分别为：,x,1,=0.583,x,2,=0.167,x,3,=0.25,。或认为出租公司的全部车经常有,58.3%,在,A,公司，,16.7%,在,B,公司，,25%,在,C,公司。,显然，应选择,A,车站附设一个汽车维修站为好。,第三节 马尔可夫决策,例,6-8,在上例中，如果每年是否采取广告措施可根据上一年的经营情况确定。那么，应该如何决策？,四、马尔可夫应用实例,解：这是一个短期经营可变策略问题，既不能使用稳定状态概率，也不能像例,6-7,一样，这是个三阶段决策问题，因为在三个时期中的每一个时期都要做出一次决策。,X,i-1,畅销,0.8,A,第,i-1,个时期畅销,用广告,滞销,0.2,Y,i,+30,X,i,+100,第三节 马尔可夫决策,不用广告,B,畅销,0.9,滞销,0.1,Y,i,+30,X,i,+100,Y,i-1,畅销,0.4,C,第,i-2,个时期滞销,用广告,滞销,0.6,Y,i,+30,X,i,+100,第三节 马尔可夫决策,不用广告,D,畅销,0.7,滞销,0.3,Y,i,+30,X,i,+100,第三节 马尔可夫决策,四、马尔可夫应用实例,A,B,C,D,各状态节点处的收益期望值分别为,由决策树可以得到递推公式,第三节 马尔可夫决策,四、马尔可夫应用实例,下面，用逆序归纳法进行决策分析。由于只考虑三年，因此,x,4,=x,5,=0,，在上面的递推公式中，令,i,=4,，得到,第三节 马尔可夫决策,四、马尔可夫应用实例,这就表明：若第二年畅销，则第三年不宜于使用广告；若第二年滞销，则第三年应使用广告。,第三节 马尔可夫决策,所以，若第一年为畅销，则第二年不应使用广告；若第一年为滞销，则第二年使用广告。,第三节 马尔可夫决策,四、马尔可夫应用实例,于是，第一年不使用或者使用广告，亦取决于前一年时候畅销。,综合上面各年的情况，可知：每年是否使用广告，都由上一年是否畅销决定。三年内销售该商品的期望利润值总和为,248.76,万元。,