算法周振宇.pptx

EM 算法周振宇周振宇2014.4内容概述1、背景简介2、EM算法的含义3、EM算法原理4、例子5、EM算法优缺点背景简介EM算法是一种模型聚类方法。基于基于模型的聚类方法：模型的聚类方法：为每一个簇假定一个模型，寻找数据对此模型的最佳拟合。背景简介例如：例如：当用某种概率密度模型表示数据空间的时候，那么假设数据空间的每一个数据都服从该概率分布。在确定了产生的数据的模型之后，可以通过数学的方法，调整模型的各种参数，使得模型能够很好的拟合数据空间，这样就得到了一个可以用来对现有或者未知数据进行分析的模型。背景简介模型可以用很多形式进行表示，其中概率分布就是一种典型的表示分布，例如高斯分布或者多项分布。在确定了概率模型之后，需要用数学方法使模型与数据拟合。背景简介模型可以用很多形式进行表示，其中概率分布就是一种典型的表示分布，例如高斯分布或者多项分布。在确定了概率模型之后，需要用数学方法使模型与数据拟合。EM算法，于是就是这样一种数学方法。某个簇每一个数据都服从概率分布假假设某个簇每一个数据都服从概率分布假假设高斯分布多项分布其他分布概率分布高斯分布多项分布其他分布参数参数参数属于属于属于概率分布高斯分布多项分布其他分布参数参数参数数学方法属于属于属于调整调整调整概率分布高斯分布多项分布其他分布参数参数参数数学方法EM算法属于属于属于调整调整调整某个簇概率分布EM算法调整参数调整参数拟合于拟合于EM算法的含义EM 算法是一种迭代算法，是一种求参数极大似然估计的方法，它可以从非完整数据集中，对参数进行最大似然估计，是一种非常简单实用的学习算法。这种方法可以广泛的应用于处理缺损数据，截尾数据，带有讨厌数据等所谓的不完全数据。（incomplete data）EM算法的含义贝叶斯计算方法大体可以分为两大类。一类一类是直接运用于后验分布以得到后验均值或后验众数的估计，以及这种估计的渐进方差或其近似。EM算法的含义另一类另一类可以总称为数据添加算法，它不是直接对复杂的后验分布进行极大化或模拟，而是在观察数据的基础上添加一些“潜在数据”，从而简化计算并完成一系列简单的极大化或模拟。EM算法的含义EM 算法就是一种一般的从“不完全数据”中求解模型参数的极大似然估计的方法。不完全不完全数据数据：1.由于观察本身的限制或者错误，造成观察数据成为错漏的不完全数据2.一种是参数的似然函数直接优化十分困难，而引入额外的参数（隐含的或丢失的）后就比较容易优化，于是定义原始观察数据加上额外数据组成“完全数据”，原始观察数据自然就成为“不完全数据”。EM算法原理EM（Expectation Maximization）算法。每一次迭代包含一个E步(期望步)和M步（极大似然估计步）。基本原理可以表述如下基本原理可以表述如下:我们可以观察到的数据是Y,完全数据=(Y,Z),Z是缺失数据,是模型参数.关于Y的后验分布f(|Y)很复杂,难以进行各种不同统计计算.EM算法原理假如缺失数据Z已知,则可能得到一个关于的简单的添加后验分布f(|y,z),利用f(|y,z)的简单性我们可以进行各种统计计算。然后,回过头来,我们又可以对Z的假定作检查和改进,如此进行,我们将一个复杂的极大化或抽样问题转化为一系列简单的极大化或抽样问题。EM算法原理完全数据XY,Z观测到的数据缺失到的数据Y:Z:我们要求得的Y的模型参数但，关于Y的后验分布f(|Y)很难求。如果Z已知,f(|y,z),好求解。EM算法原理完全数据XY,Z观测到的数据缺失到的数据Y:Z:假假设存存在在Z求关于Z期望，从而消除ZE步：M步：求关于(i)的极大似然估计，更新参数(i)=(i+1)证明收敛重复E步直至收敛EM算法原理EM算法原理EM算法求解例题EM算法求解例题EM算法求解例题EM算法求解例题EM算法求解例题EM算法求解例题EM算法的优缺点EM算法的优点：它主要目的是提供一个简单的迭代算法进行极大似然估计和计算后验密度函数，它的最大优点就是简单和稳定。EM算法的不足：1.收敛速度慢，不适合大规模数据集和高维数据。2.算法高度依赖于初始值的选择。3.EM算法使用的是爬山技术，很容易陷入局部最优。THANK YOU!