From 43d40bdb34d916f81a2de7431b9dfe1db4038311 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E9=98=BF=E6=8B=89=E5=87=A1?= <78416589+Alafun@users.noreply.github.com> Date: Sun, 27 Feb 2022 00:15:43 +0800 Subject: [PATCH] =?UTF-8?q?Update=20=E5=91=A8=E5=BF=97=E5=8D=8E=E3=80=8AMa?= =?UTF-8?q?chine=20Learning=E3=80=8B=E5=AD=A6=E4=B9=A0=E7=AC=94=E8=AE=B0(9?= =?UTF-8?q?)--EM=E7=AE=97=E6=B3=95.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit fix title display --- ...254\224\350\256\260(9)--EM\347\256\227\346\263\225.md" | 8 ++++---- 1 file changed, 4 insertions(+), 4 deletions(-) diff --git "a/\345\221\250\345\277\227\345\215\216\343\200\212Machine Learning\343\200\213\345\255\246\344\271\240\347\254\224\350\256\260(9)--EM\347\256\227\346\263\225.md" "b/\345\221\250\345\277\227\345\215\216\343\200\212Machine Learning\343\200\213\345\255\246\344\271\240\347\254\224\350\256\260(9)--EM\347\256\227\346\263\225.md" index adaf987..6525b9d 100644 --- "a/\345\221\250\345\277\227\345\215\216\343\200\212Machine Learning\343\200\213\345\255\246\344\271\240\347\254\224\350\256\260(9)--EM\347\256\227\346\263\225.md" +++ "b/\345\221\250\345\277\227\345\215\216\343\200\212Machine Learning\343\200\213\345\255\246\344\271\240\347\254\224\350\256\260(9)--EM\347\256\227\346\263\225.md" @@ -1,10 +1,10 @@ 上篇主要介绍了贝叶斯分类器，从贝叶斯公式到贝叶斯决策论，再到通过极大似然法估计类条件概率，贝叶斯分类器的训练就是参数估计的过程。朴素贝叶斯则是“属性条件独立性假设”下的特例，它避免了假设属性联合分布过于经验性和训练集不足引起参数估计较大偏差两个大问题，最后介绍的拉普拉斯修正将概率值进行平滑处理。本篇将介绍另一个当选为数据挖掘十大算法之一的**EM算法**。 -#**8、EM算法** +# **8、EM算法** EM（Expectation-Maximization）算法是一种常用的估计参数隐变量的利器，也称为“期望最大算法”，是数据挖掘的十大经典算法之一。EM算法主要应用于训练集样本不完整即存在隐变量时的情形（例如某个属性值未知），通过其独特的“两步走”策略能较好地估计出隐变量的值。 -##**8.1 EM算法思想** +## **8.1 EM算法思想** EM是一种迭代式的方法，它的基本思想就是：若样本服从的分布参数θ已知，则可以根据已观测到的训练样本推断出隐变量Z的期望值（E步），若Z的值已知则运用最大似然法估计出新的θ值（M步）。重复这个过程直到Z和θ值不再发生变化。 @@ -15,7 +15,7 @@ EM是一种迭代式的方法，它的基本思想就是：若样本服从的分 现在再来回想聚类的代表算法K-Means：【首先随机选择类中心=>将样本点划分到类簇中=>重新计算类中心=>不断迭代直至收敛】，不难发现这个过程和EM迭代的方法极其相似，事实上，若将样本的类别看做为“隐变量”（latent variable）Z，类中心看作样本的分布参数θ，K-Means就是通过EM算法来进行迭代的，与我们这里不同的是，K-Means的目标是最小化样本点到其对应类中心的距离和，上述为极大化似然函数。 -##**8.2 EM算法数学推导** +## **8.2 EM算法数学推导** 在上篇极大似然法中，当样本属性值都已知时，我们很容易通过极大化对数似然，接着对每个参数求偏导计算出参数的值。但当存在隐变量时，就无法直接求解，此时我们通常最大化已观察数据的对数“边际似然”（marginal likelihood）。 @@ -43,7 +43,7 @@ EM算法也可以看作一种“坐标下降法”，首先固定一个值，对 ![6.png](https://i.loli.net/2018/10/18/5bc843c34e7ff.png) -##**8.3 EM算法流程** +## **8.3 EM算法流程** 看完数学推导，算法的流程也就十分简单了，这里有两个版本，版本一来自西瓜书，周天使的介绍十分简洁；版本二来自于大牛的博客。结合着数学推导，自认为版本二更具有逻辑性，两者唯一的区别就在于版本二多出了红框的部分，这里我也没得到答案，欢迎骚扰讨论~