实验报告8 EM算法.docxVIP

专业班级：2018164 学号：201816406 姓名：张锦渊 实验8: EM算法 一、实验目的 了解EM算法的构建过程和代码实现，应用EM算法解决简单的实际问题。 二、实验准备 安装python和pycharm，了解python基础编程和pycharm使用。 三、实验内容 基于程序中生成的数据，补充完整下面EM算法相关程序，粘贴运行成功的结果截图，认真体会EM算法的实现过程。 数据集：构造数据集（两个高斯分布混合） 数据集长度：1000 ---------------------------- import numpy as np import random import math def loadData(mu0, sigma0, mu1, sigma1, alpha0, alpha1): 初始化数据集 这里通过服从高斯分布的随机函数来伪造数据集 :param mu0: 高斯0的均值 :param sigma0: 高斯0的方差 :param mu1: 高斯1的均值 :param sigma1: 高斯1的方差 :param alpha0: 高斯0的系数 :param alpha1: 高斯1的系数 :return: 混合了两个高斯分布的数据 # 定义数据集长度为1000 length = 1000 # 初始化第一个高斯分布，生成数据，数据长度为length * alpha系数，以此来满足alpha的作用 data0 = np.random.normal(mu0, sigma0, int(length * alpha0)) # 第二个高斯分布的数据 data1 = np.random.normal(mu1, sigma1, int(length * alpha1)) # 初始化总数据集 # 两个高斯分布的数据混合后会放在该数据集中返回 dataSet = [] # 将第一个数据集的内容添加进去 dataSet.extend(data0) # 添加第二个数据集的数据 dataSet.extend(data1) # 对总的数据集进行打乱（其实不打乱也没事，只不过打乱一下直观上让人感觉已经混合了 # 读者可以将下面这句话屏蔽以后看看效果是否有差别） random.shuffle(dataSet) #返回伪造好的数据集 return dataSet def calcGauss(dataSetArr, mu, sigmod): 根据高斯密度函数计算值 注：在公式中y是一个实数，但是在EM算法中，需要对每个j 都求一次yjk，在本实例中有1000个可观测数据，因此需要计算1000次。考虑到 在E步时进行1000次高斯计算，程序上比较不简洁，因此这里的y是向量，在numpy 的exp中如果exp内部值为向量，则对向量中每个值进行exp，输出仍是向量的形式。 所以使用向量的形式1次计算即可将所有计算结果得出，程序上较为简洁 :param dataSetArr: 可观测数据集 :param mu: 均值 :param sigmod: 方差 :return: 整个可观测数据集的高斯分布密度（向量形式） # 按照公式得到结果 result = (1 / (math.sqrt(2*math.pi)*sigmod**2)) * np.exp(-1 * (dataSetArr-mu) * (dataSetArr-mu) / (2*sigmod**2)) # 返回结果 return result def E_step(dataSetArr, alpha0, mu0, sigmod0, alpha1, mu1, sigmod1): EM算法中的E步 依据当前模型参数，计算分模型k对观数据y的响应度 :param dataSetArr: 可观测数据y :param alpha0: 高斯模型0的系数 :param mu0: 高斯模型0的均值 :param sigmod0: 高斯模型0的方差 :param alpha1: 高斯模型1的系数 :param mu1: 高斯模型1的均值 :param sigmod1: 高斯模型1的方差