能源系统大数据分析理论与实-3.无监督学习.pdfVIP

无监督学习—Clustering

AssociationRule

背景

Ø能源系统运行过程中会产生海量的数据

Ø数据特点：变量种类多、数据体量大、价值密度低、数据标签稀缺

如何从繁杂的数据中提取有用的信息？

2

背景

Ø数据挖掘技术被认为是解决这一问题的方法

HVACsystemoperationdataDatamining

高价值数据

3

背景

Ø无监督学习算法是常用的数据挖掘方法：

Ø无监督学习：样本的标记信息未知，通过对样本的学习来揭示数据的内在性质和规

律的过程

对数据做进

一步分析

有价值知识

4

背景

Ø无监督学习算法典型能源应用场景:

5

背景

Ø无监督学习的一般流程:

1.数据预处理

2.无监督数据挖掘

3.知识后挖掘

6

提纲

q背景

q聚类

Ø定义与基本原理

Ø原型聚类（以k-means算法为代表）

Ø密度聚类（以DBSCAN为代表）

Ø层次聚类（以AGNES为代表）

q关联规则挖掘

Ø定义与基本原理

ØApriori算法

ØFP-growth算法

Ø应用案例

q知识后挖掘

Ø聚类后挖掘

Ø关联规则后挖掘

7

聚类的定义

Ø聚类(Clustering)：将数据集中的样本划分为

若干个通常是不相交的子集，每个子集称为

一个“簇”(cluster)

Ø聚类结果：算法自动生成

Ø簇的意义：由使用者定义

三个聚类簇数据聚类结果示意图

8

数学表达

Ø样本集D：包含m个样本Dx,x,...,x

12m

Ø每个样本x：为一个包含n个数的向量xi(xi1,xi2,...,xin)

i

Ø聚类过程：基于样本间的相似程度将样本集中的样本划分为k个子集（聚类簇）

λ,,...,

Ø聚类目的：得到包含每个样本归属于哪个簇的簇标记向量