物联网中的智能决策概述.pptxVIP

第13章物联网中的智能决策智能决策是物联网“智慧”的来源。本章将介绍数据挖掘的基本流程，基本类型和典型算法。内容提要内容回顾第12章介绍了搜索引擎的相关知识搜索引擎的基本组成搜索引擎的体系结构（信息采集，索引技术，搜索服务）物联网中搜索引擎的挑战本章介绍数据挖掘的基本流程（预处理，数据挖掘，知识评估与表示），重点介绍几种典型的数据挖掘算法，最后讨论物联网中智能决策的新特点。本章内容13.1 数据挖掘概述13.2 数据挖掘的基本类型和算法*13.3 智能决策与物联网什么是数据挖掘？数据挖掘有哪三个步骤？13.1 数据挖掘概述数据挖掘（Data Mining）从大量数据中获取潜在有用的并且可以被人们理解的模式的过程是一个反复迭代的人机交互和处理的过程，历经多个步骤，并且在一些步骤中需要由用户提供决策数据挖掘的过程：数据预处理、数据挖掘和对挖掘结果的评估与表示每一个阶段的输出结果成为下一个阶段的输入13.1 数据挖掘概述数据挖掘的过程数据预处理阶段数据准备：了解领域特点，确定用户需求数据选取：从原始数据库中选取相关数据或样本数据预处理：检查数据的完整性及一致性，消除噪声等数据变换：通过投影或利用其他操作减少数据量数据挖掘阶段确定挖掘目标：确定要发现的知识类型选择算法：根据确定的目标选择合适的数据挖掘算法数据挖掘：运用所选算法，提取相关知识并以一定的方式表示知识评估与表示阶段模式评估：对在数据挖掘步骤中发现的模式(知识)进行评估知识表示：使用可视化和知识表示相关技术，呈现所挖掘的知识13.1 数据挖掘概述数据挖掘的过程本章内容13.1 数据挖掘概述13.2 数据挖掘的基本类型和算法*13.3 智能决策与物联网数据挖掘的基本类型和算法有那些？13.2 数据挖掘的基本类型和算法数据挖掘的基本类型关联分析(Association Analysis)聚类分析(Clustering Analysis)离群点分析(Outlier Analysis)分类与预测(Classification and Prediction)演化分析(Evolution Analysis)描述性挖掘任务：刻划数据库中数据的一般特性预测性挖掘任务：在当前数据上进行推断和预测关联分析关联分析的目标是从给定的数据中发现频繁出现的模式，即关联规则关联规则通常的表述形式是X Y，表示“数据库中满足条件X的记录(元组)可能也满足条件Y”以某电器商场销售记录为例：含义：4% (支持度)的顾客的年龄在20至29岁且月收入在3000至5000元，且这样的顾客中，65% (置信度)的人购买了笔记本电脑关联分析挖掘关联规则，需要置信度和支持度越高越好基本概念项集：满足若干条件的数据项的集合，如果条件数为k，则称k-项集满足年龄(顾客, “20~29”)的项集是1-项集满足年龄(顾客, “20~29”)收入(顾客, “3000~5000”)的项集是2-项集计算步骤首先找到具备足够支持度的项集，即频繁项集然后由频繁项集构成关联规则，并计算置信度关联分析如何寻找频繁项集Apriori算法基本思想：利用已求出的k-项集来计算(k+1)-项集首先计算频繁1-项集然后根据两个频繁k-项集{p1, p2, ..., pk}，{q1, q2, ..., qk}计算频繁(k+1)-项集，其中pi=qi，1=i=k-1，且该(k+1)-项集为{p1, p2, ..., pk, qk}最后判定该(k+1)-项集是否频繁即可缺点：可能产生大量候选项集，并需要重复地扫描数据库 FP-Growth算法利用树状结构保存项集，从而减小了计算频繁项集所需的存储空间关联分析如何由频繁项集构造关联规则，并计算置信度关联规A B的置信度其中count(A AND B)为满足条件A以及B的数据项数目，count(A)为满足条件A的数据项数目计算步骤对于每一个频繁项集S，计算S的所有非空子集对于每个S的非空子集F，若 大于给定置信度阈值，则得到一个关联规则分类和预测分类和预测的目标是找出描述和区分不同数据类或概念的模型或函数，以便能够使用模型预测数据类或标记未知的对象所获得的分类模型可以采用多种形式加以描述输出分类规则判定树数学公式神经网络…分类与预测的区别：分类通常指预测数据对象属于哪一类，而当被预测的值是数值数据时，通常称为预测分类和预测以判定树方法为例，简要介绍分类的基本步骤和结果表示问题实例：假定商场需要向潜在的客户邮寄新产品资料和促销信息。客户数据库描述的客户属性包括姓名、年龄、收入、职业和信用记录。我们可以按是否会在商场购买计算机将客户分为两类，只将促销材料邮寄给那些会购买计算机的客户，从而降低成本。 分类和预测用于预测客户是否可能购买计算机的判定树，其中每个非树叶