能源系统大数据分析理论与实-3.无监督学习.pptxVIP

无监督学习—ClusteringAssociationRule能源系统人工智能方法第三节

能源系统运行过程中会产生海量的数据数据特点：变量种类多、数据体量大、价值密度低、数据标签稀缺背景如何从繁杂的数据中提取有用的信息？2

数据挖掘技术被认为是解决这一问题的方法背景DataminingHVACsystemoperationdata高价值数据3

背景无监督学习算法是常用的数据挖掘方法：无监督学习：样本的标记信息未知，通过对样本的学习来揭示数据的内在性质和规律的过程对数据做进一步分析有价值知识4

背景无监督学习算法典型能源应用场景:5

背景无监督学习的一般流程:数据预处理无监督数据挖掘知识后挖掘6

背景聚类定义与基本原理原型聚类（以k-means算法为代表）密度聚类（以DBSCAN为代表）层次聚类（以AGNES为代表）关联规则挖掘定义与基本原理Apriori算法FP-growth算法应用案例知识后挖掘聚类后挖掘关联规则后挖掘提纲7

聚类的定义数据聚类结果示意图聚类结果：算法自动生成簇的意义：由使用者定义聚类(Clustering)：将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个“簇”(cluster)三个聚类簇8

数学表达样本集D：包含m个样本每个样本xi：为一个包含n个数的向量聚类过程：基于样本间的相似程度将样本集中的样本划分为k个子集（聚类簇）聚类目的：得到包含每个样本归属于哪个簇的簇标记向量x聚类簇数目k=2x1x3x2x4x5x6聚类算法1x2x3x4x5x6样本集（样本数m=6）聚类簇1聚类簇2x11x12含n=2个数9

相似性度量相似性度量：用于定量估计样本间的相似程度分类：几何距离的性质：非负性：样本之间的距离大于等于0同一性：相同样本间的距离为0对称性：样本互相交换位置不改变结果直递性：两点之间直线距离最短10

相似性度量-几何距离-闵可夫斯基距离闵可夫斯基距离：范围∈(0,∞)，越大越不相似样本和的距离计算公式：p值不同时，具有不同的名称以及计算公式：几何距离：闵可夫斯基距离马拉哈诺比斯距离余弦距离相关系数：皮尔逊相关系数斯皮尔曼相关系数p=∞：切比雪夫距离p=2：欧式距离p=1：曼哈顿距离11

二维空间中的三种距离展示红色点划线：曼哈顿距离，温湿度差值绝对值之和黄色直线：欧氏距离，两点之间的直线距离蓝色虚线：切比雪夫距离，温湿度差值绝对值的最大值相似性度量-几何距离-闵可夫斯基距离几何距离：闵可夫斯基距离马拉哈诺比斯距离余弦距离相关系数：皮尔逊相关系数斯皮尔曼相关系数12

马拉哈诺比斯距离：适用于衡量量纲存在显著差异的样本间的相似度实例展示：相似性度量-几何距离-马拉哈诺比斯距离几何距离：闵可夫斯基距离马拉哈诺比斯距离余弦距离相关系数：皮尔逊相关系数斯皮尔曼相关系数使用欧氏距离进行聚类d1将纳入绿点使用马拉哈诺比斯距离进行聚类d2将纳入绿点d1d2d1d2d1d2d1d225~35℃40~90%40~90%可看作是欧氏距离的推广取值差异过大13

马拉哈诺比斯距离计算示例：数据来源：7个房间同一天的室内信息房间平均温度（oC）平均相对湿度（%）房间123.969.0房间227.361.0房间325.170.1房间428.365.2房间526.267.0房间624.872.4房间727.766.5相似性度量-几何距离-马拉哈诺比斯距离几何距离：闵可夫斯基距离马拉哈诺比斯距离余弦距离相关系数：皮尔逊相关系数斯皮尔曼相关系数计算公式：样本向量样本矩阵的协方差矩阵14

马拉哈诺比斯距离计算示例：将表中数据写入一个7×2的矩阵计算Xt的协方差矩阵S以及它的逆S-1：计算xi和xj之间的马拉哈诺比斯距离相似性度量-几何距离-马拉哈诺比斯距离几何距离：闵可夫斯基距离马拉哈诺比斯距离余弦距离相关系数：皮尔逊相关系数斯皮尔曼相关系数15

余弦距离：通过计算两个样本向量的夹角余弦值评估两者相似度几何距离：闵可夫斯基距离马拉哈诺比斯距离余弦距离相关系数：皮尔逊相关系数斯皮尔曼相关系数相似性度量-几何距离-余弦距离三个样本计算公式实例展示：角α角β→cos(α)cos(β)→distS(x1,x2)distS(x1,x3)→x1与x2更相似相似不相似16

余弦距离计算示例：余弦距离的计算公式房间1的室内环境向量：x1=(23.9,69)房间2的室内环境向量：x2=(27.3,61)x1与x2的余弦距离：几何距离：闵可夫斯基距离马拉哈诺比斯距离余弦距离相关系数：皮尔逊相关系数斯皮尔曼相关系