_物联网中的智能决策.pptVIP

第 13 章 物联网中的 智能决策 内容提要 智能决策 是物联 网“智慧”的来源。 本章将介绍数据挖掘的 基本流程，基本类型和 典型算法。 13.1 数据挖掘概述 13.2 数据挖掘的基本类型和算法 * 13.3 智能决策与物联网 什么是数据挖掘？数据挖掘有哪三个步骤？ 本章内容 13.1 数据挖掘概述 数据挖掘 （ Data Mining ） ? 从大量 数据 中获取潜在有用的并且可以被人们理解的 模式 的过程 ? 是一个 反复迭代 的 人机交互和处理 的过程，历经多个步骤， 并且在一些步骤中需要由用户提供决策 数据挖掘的过程： ? 数据预处理、数据挖掘和对挖掘结果的评估与表示 ? 每一个阶段的输出结果成为下一个阶段的输入 13.1 数据挖掘概述 数据挖掘的过程 ? 数据预处理阶段 ? 数据准备：了解领域特点，确定用户需求 ? 数据选取：从原始数据库中选取相关数据或样本 ? 数据预处理：检查数据的完整性及一致性，消除噪声等 ? 数据变换：通过投影或利用其他操作减少数据量 ? 数据挖掘阶段 ? 确定挖掘目标：确定要发现的知识类型 ? 选择算法：根据确定的目标选择合适的数据挖掘算法 ? 数据挖掘：运用所选算法，提取相关知识并以一定的方式表示 ? 知识评估与表示阶段 ? 模式评估：对在数据挖掘步骤中发现的模式 ( 知识 ) 进行评估 ? 知识表示：使用可视化和知识表示相关技术，呈现所挖掘的知识 13.1 数据挖掘概述 数据挖掘的过程 13.1 数据挖掘概述 13.2 数据挖掘的基本类型和算法 * 13.3 智能决策与物联网 数据挖掘的基本类型和算法有那些？ 本章内容 13.2 数据挖掘的基本类型和算法 数据挖掘的基本类型 关联分析 (Association Analysis) 聚类分析 (Clustering Analysis) 离群点分析 (Outlier Analysis) 分类与预测 (Classification and Prediction) 演化分析 (Evolution Analysis) 描述性 挖掘任务： 刻划数据库中数 据的一般特性 预测性 挖掘任务： 在当前数据上进行 推断和预测 关联分析 关联分析 的目标是从给定的数据中发现频繁出现的模式，即 关联规则 关联规则 通常的表述形式是 X Y ，表示“数据库中满足条件 X 的记录 ( 元组 ) 可能也满足条件 Y” 以某电器商场销售记录为例： 含义： 4% ( 支持度 ) 的顾客的年龄在 20 至 29 岁且月收入在 3000 至 5000 元，且 这样的顾客中， 65% ( 置信度 ) 的人购买了笔记本电脑 关联分析 挖掘关联规则，需要 置信度 和 支持度 越高越好 基本概念 项集 ：满足若干条件的数据项的集合，如果条件数为 k ，则称 k - 项集 ? 满足年龄 ( 顾客 , “20~29”) 的项集是 1- 项集 ? 满足年龄 ( 顾客 , “20~29”) 收入 ( 顾客 , “3000~5000”) 的项集是 2- 项集 计算步骤 ? 首先找到具备足够支持度的项集，即 频繁项集 ? 然后由频繁项集构成关联规则，并计算置信度 关联分析 如何寻找频繁项集 ? Apriori 算法 基本思想： 利用已求出的 k - 项集来计算 ( k +1)- 项集 ? 首先计算频繁 1- 项集 ? 然后根据两个频繁 k - 项集 { p 1 , p 2 , ..., p k } ， { q 1 , q 2 , ..., q k } 计算频繁 (k+1)- 项集，其中 p i = q i ， 1= i=k -1 ，且该 ( k +1)- 项集为 { p 1 , p 2 , ..., p k , q k } ? 最后判定该 ( k +1)- 项集是否频繁即可 缺点： 可能产生大量候选项集，并需要重复地扫描数据库 ? FP-Growth 算法 利用树状结构保存项集，从而减小了计算频繁项集所需的存储空间 关联分析 如何由频繁项集构造关联规则，并计算置信度 关联规 A B 的置信度 其中 count(A AND B) 为满足条件 A 以及 B 的数据项数目， count(A) 为满足条件 A 的数据项数目 计算步骤 ? 对于每一个频繁项集 S ，计