GMMEM混合高斯模型及其求解应用.pptx

高斯混合模型（GMM）2024/5/22 周三1高斯混合模型（GMM）GMM的表GMM参数计算GMM应用举例2024/5/22 周三2高斯混合模型（GMM）GMM的表达GMM参数计算GMM应用举例2024/5/22 周三3高斯模型是一种参数化模型，用高斯密度函数估计目标的分布单高斯（SingleGaussianModel）高斯混合模型（Gaussianmixturemodel）2024/5/22 周三4高斯混合模型(GMM)公式表达：参数空间：|=3 2024/5/22 周三5高斯混合模型（GMM）GMM的表达式GMM参数计算GMM应用举例2024/5/22 周三6GMM参数学习*注意：对于观察集x中的各个观察值xi，这里认为相互之间独立。2024/5/22 周三7GMM参数学习对目标函数取对数：可以看出目标函数是和的对数，优化问题麻烦，简化的问题：某混合高斯分布一共有K个分布，对于每一个观察到的x，如果我们同时还知道它是属于K中哪一个分布的，则可以直接求解出各个高斯分布的参数。因此引入隐变量Z,用于表示样本x输入哪一个高斯分布2024/5/22 周三8GMM参数学习定义Zi=zi1,ziK,zik表示xi是否属于第k个高斯函数，zik只有两个取值0、1，即zik=1表示xi属于第k个高斯函数，zik=0表示xi不属于第k个高斯函数。那么，有：2024/5/22 周三9GMM参数学习引入Z后从而得到注意：这里zik只有0和1的选择2024/5/22 周三10GMM参数学习在简化问题中，我们实际的观察变量是X,Z,根据一下两个公式可以得到注意：这里N是X=x集合的大小。2024/5/22 周三11GMM参数学习比较原问题和简化问题后者的ln直接作用于正态分布，使正态分布由乘的e指数形式变为加的简单形式2024/5/22 周三12GMM参数学习为了最大化上式，由于zik已知，我们可以把上式按观察到的(x,z)分为K组，即按照所属的高斯函数进行分组注意：用到zik的取值，所以zik不会再出现在公式中。2024/5/22 周三13GMM参数学习因为我们假定zik已知，因而最大化某一个高斯函数是可以数值求解的。假定Ck中含有Nk个样本，则注意：这里X表示的是xi的联合，X 表示的是仅属于Ck的样本的联合。2024/5/22 周三14GMM参数学习对于单高斯函数令上式等于0，则有同理，可以得到2024/5/22 周三15GMM参数学习在zik已知的情况下，我们求出了高斯函数的数值解：其中2024/5/22 周三16GMM参数学习2024/5/22 周三17GMM参数学习引入隐变量Z后，我们得到了最大化目标函数的结果通过上面的公式，可以看出如果能够知道每一个zik的取值，那么就能求解出最大化目标函数的参数取值，但事实上给定一组观察数据x后，是无法获取zik的，因此我们将用zik的均值Ezik来代替。2024/5/22 周三182024/5/22 周三19GMM参数学习进一步解释现在的问题转化为如何求解Ezik？EzikEM算法2024/5/22 周三20GMM参数学习2024/5/22 周三21GMM参数学习zik只与xi有关公式展开Zik只有0、1取值贝叶斯公式2024/5/22 周三22GMM参数学习小结M-stepE-step2024/5/22 周三23GMM参数学习算法流程2024/5/22 周三24GMM参数学习GMM，K=2K-meams初始化原始数据迭代过程迭代过程迭代过程迭代结果2024/5/22 周三25高斯混合模型（GMM）GMM的表达式GMM参数计算GMM应用举例2024/5/22 周三26GMM应用:背景建模背景模型：对图像中的场景进行建模，从而进行运动检测。要点1：将图像中的每个图像单位(像素，块等)看成是从混合高斯分布样本中采样得到的随机变量；要点2：根据先验知识，每个像素点是前景或背景的先验概率可以估值；要点3：考虑到背景的多模态和复杂度，一般的混合高斯模型采用3-5个单高斯模型进行混合。2024/5/22 周三27GMM应用:背景建模用K个高斯模型来表征图像中各个像素点的特征Ixy,t属于背景区域的概率密度：Ixy,t 表示t时刻图像I中的xy位置的像素特征。模型主要步骤：1，模型初始化；2，背景描述；3，前景判决；4，模型更新。2024/5/22 周三28GMM应用:背景建模模型初始化（1/3）2024/5/22 周三29GMM应用:背景建模模型初始化（2/3）2024/5/22 周三30GMM应用:背景建模模型初始化（3/3）2024/5/22 周三31GMM应用:背景建模背景模型描述2.排序后，用前B个高斯模型作为背景模型：T为选定的阈值。用于确定描述背景模型的高斯函数的个数2024/5/22 周三32GMM应用:背景建模前景判决（1/2）判断当前像素，属于背景或前景2024/5/22 周三33GMM应用:背景建模前景判决（2/2）前景判决：2024/5/22 周三34GMM应用:背景建模模型更新（1/2）更新所有高斯模型的权重，并重新归一化：更新模型，使其适应场景的变化2024/5/22 周三35GMM应用:背景建模模型更新（2/2）（1）更新前k-1个模型的权重：（2）重新初始化第K个模型：2024/5/22 周三362024/5/22 周三37