Matlab数据分析 配套课件.ppt

7.3k均值聚类7.3k均值聚类7.3.3k均值聚类算法的特点1）在k均值聚类算法中的k是事先给定的，这个k值的选定是非常难以估计的。2）在k均值聚类算法中，首先需要根据初始聚类中心来确定一个初始划分，然后对初始划分进行优化。3）k均值聚类算法需要不断地进行样本分类调整，不断地计算调整后新的聚类中心，因此当数据量非常大时，算法的时间开销也非常大。4）k均值聚类算法对一些离散点和初始k值敏感，不同的距离初始值对同样的数据样本可能得到不同的结果。7.3k均值聚类7.3.4k均值聚类算法综合应用例7.6examp：3.xls表列出了43↑国家和地区3年（1990年、2000年、2006年）的婴儿死亡率和出生时预期寿命数据。7.3k均值聚类解：计算过程如下。1）读取数据：2）进行标准化变换：3）选取初始凝聚点进行聚类：7.3k均值聚类4）绘制轮廓图：7.3k均值聚类5）查看聚类结果：7.4层次聚类7.4.1概述1）如何计算两个点的距离？2）如何计算两个类别之间的距离？①最邻近距离（SingleLinkage），就是取两个集合中距离最近的两个点的距离作力这两个集合的距离，容易造成一种叫做链接的效果，两个聚类明明从“大局”上离得比较远，但是由于其中个别的点距离比较近就被合并了，并且这样合并之后链接效应会进一步扩大，最后会得到比较松散的聚类。②CompleteLinkage。③GroupAverage。1）待分割的聚类记G，在G中取出一个到其他点的平均距离最远的点x，构成新聚类H。2）在G中选取这样的点x，使得x到G中其他点的平均距离減去x到H中所有点的平均距离这个差值最大，将其归入H中。7.4层次聚类3）重复上一个步骤，直到差值为负。7.4.2层次聚类算法的Matlab实现例7.7这里仍然以上面的iris数据集来实现层次聚类。7.4层次聚类7.4层次聚类7.4.3层次聚类算法的特点1）在凝聚层次聚类算法和分裂层次聚类算法中，都需要用户提供所希望得到的聚类的单个数量和阈值作为聚类分析的终止条件，但对于复杂的数据来说这是很难事先判定的。2）由于层次聚类算法要使用距离矩阵，所以它的时间和空间复杂度都很高，几乎不能在大数据集上使用。7.5高斯混合模型聚类7.5.1简介1）估计数据由每个Component生成的概率（并不是每个Component被选中的概率）。2）估计每个Component的参数。3）重复迭代前面两步，直到似然函数的值收敛力止。7.5高斯混合模型聚类7.5.2高斯混合模型聚类算法的Matlab实现例7.8在Matlab中可以利用函数gmdistribution.fit来实现聚类。第8章分类8.1分类算法简介8.1.1逻辑回归分类算法1）y是一个定量的变量，这时就用通常的regress函数对y进行回归。2）y是一个定性的变量，如y=0或1，这时就不能用常规的regress函数对y进行回归，而要使用逻辑回归（LogisticRegression）。1.工作原理2.最佳使用时机8.1分类算法简介8.1.2K近邻分类算法1.エ作原理2.最佳使用时机3.K近邻分类算法的具体步骤1）初始化距离为最大值。2）计算未知样本和每个训练样本的距离dist。3）得到目前K个最邻近样本中的最大距离maxdist。4）如果distmaxdist，则将训练样本作为k最近邻样本。5）重复步骤2）~4），直到来知样本和所有训练样本的距离都算完。6）统计k个最近邻样本中每个类别出现的次数。7）选择出现频率最大的类别作未知类别出现的次数。8.1分类算法简介8.1.3支持向量机分类算法1.工作原理2.最佳使用时机8.1分类算法简介8.1.4人工神经网络分类算法1.工作原理2.最佳使用时机8.1分类算法简介8.1.5朴素贝叶斯分类算法1.工作原理2.最佳使用时机8.1分类算法简介8.1.6判别分析分类算法1.工作原理2.最佳使用时机8.1分类算法简介8.1.7决策树分类算法1.工作原理2.最佳使用时机8.1分类算法简介8.1.8集成学习分类算法1）Bagging的训练集是随机的，各训练集是独立的；而Boosting训练集的选择不是独立的，每次选择的训练集都依赖于上一次学习的结果。2）Bagging的每个预测函数都没有权重；而Boosting根据每次训练的误差得到该次预测函数的权重。3）