机器学习 课件 第8--10章 聚类、 概率图模型、 人工神经网络.pptx

第8章聚类《机器学习》胡晓

8.1聚类基本理论??

8.1聚类基本理论?相似性测度在聚类算法，样本间相似度通常需要采用两个样本之间的“距离测度(DistanceMetric,DM)”进行衡量。?常见距离：欧氏距离、曼哈顿距离、闵可夫斯基距离、值差异值测度

8.1聚类基本理论类簇中心类簇中心，又称为簇质心，定义为簇内样本分布中心，如图8.1中每簇的中心点。然而，不同聚类算法定义各有差别，简单分为两种：K均值聚类簇中心?基于密度的类簇中心AlexRodriguez和AlessandroLaio在Science期刊文章中提出：类簇中心周围都是密度比其低的点，同时这些点距离该簇中心的距离相比于其他聚类中心最近。

8.1聚类基本理论聚类算法评价指标??纯度(Purity)将每个簇内频数最高的样本类别作为正确的类簇，聚类熵?

8.1聚类基本理论聚类算法评价指标同质性也叫均一性，一个类簇中仅有一个类别的样本，均一性最高同质性(Homogeneity)?相当于精确率，即被聚类的类簇中正确分类的样本数占该类簇中的样本数的比例,??

8.1聚类基本理论聚类算法评价指标完整性(Completeness)同类别的样本被归类到同一聚类簇中，则满足完整性。相当于召回率，即每个聚类中正确分类的样本数占该类别样本的数量，???

8.1聚类基本理论聚类算法评价指标兰德指数和调整兰德指数???

8.2K均值聚类???

8.3层次聚类层次聚类(hierarchicalclustering)是基于簇间的相似度的树形聚类算法。一般有两种划分策略：自底向上的凝聚策略和自顶向下的分拆策略。凝聚策略分拆策略初始时将每个样本点当做一个类簇，然后依据相似度准则合并相似度最大的类簇，直到达到终止条件。?

8.4密度聚类?密度聚类(Density-BasedSpatialClustering)是一种基于密度的聚类算法。

8.4密度聚类2、密度聚类基本过程

8.4密度聚类?8.4.2高斯混合聚类

谢谢！

第9章概率图模型《机器学习》胡晓

目录9.1联合概率9.2概率有向图9.3概率图向图9.4因子图与和积算法

9.1联合概率???

9.2概率有向图???????

9.2概率有向图??

9.2概率有向图??

9.2概率有向图定理9.1：父结点给定下，该结点与其所有非后代结点(non-descendants)条件独立。??

9.2概率有向图?贝叶斯网络表示通常由领域专家根据研究对象先验知识进行建立模贝叶斯网络图。一般分为三个步骤：确定变量集和变量域设计结点设计网络结构定义变量之间的依赖关系参数学习表示联合概率分布(包括局部概率分布或局部密度函数)。?

9.2概率有向图??(2)依据变量之间的依赖关系设计网络拓扑结构??????(3)采用概率理论进行参数学习?

9.2概率有向图?(3)采用概率理论进行参数学习?假设根据训练数据已经获得，??概率分布形式???

9.2概率有向图???变量消除法

9.2概率有向图?

9.2概率有向图?

9.2概率有向图?

9.2概率有向图?

9.2概率有向图?

9.2概率有向图?

9.3概率无向图?

9.3概率无向图?

9.3概率无向图?

9.3概率无向图?

9.3概率无向图????

9.3概率无向图??

9.3概率无向图??转移特征函数状态特征函数?

9.4因子图与和积算法?

9.4因子图与和积算法???

9.4因子图与和积算法?

9.4因子图与和积算法?

9.4因子图与和积算法????(2)变量结点则演化为边缘??

9.4因子图与和积算法????如果?先求和再乘积

谢谢！

第10章人工神经网络《机器学习》胡晓

10.1神经元及基本模型神经元(Neuron)是人脑神经系统的基本单元，负责接收和传递神经信号通过突触(Synapse)与下一层神经元的树突连接起来，从而构成基本神经通路。美国心理学家FrankRosenblatt提出的感知机模拟了神经元的细胞膜电位累加和激活过程，建立了神经元的基本模型：线性变换和激活。?

10.1神经元及基本模型??????

10.2激活函数????

10.2激活函数?校正线性单元泄露校正线性单元指数线性单元软加函数softplus????

10.2激活函数Swish激活函数2017年，GoogleBrain研究人员经过大规模搜索发现一种在许多任务上比ReLU性能更好的非线性激活函数，称为Swish，?

10.3感知机感知机是1957年FrankRosenblatt在MP模型基础之上建立一个线性分类器。仅有一个神经元，并用符号