物联网技术导论与实践全套PPT课件.ppt

3）IOT基于网格的数据挖掘模型网格计算是新型的计算设备，能够实现异构、大规模和高性能应用。同IOT，网格计算受到来自工业和研究机构的关注。网格的基本理念就是同电力资源一样利用网格计算资源。各种计算资源、数据资源和服务资源都可以被存取或便捷使用。*3）IOT基于网格的数据挖掘模型网格计算是新型的计算设备，能够实现异构、大规模和高性能应用。同IOT，网格计算受到来自工业和研究机构的关注。网格的基本理念就是同电力资源一样利用网格计算资源。各种计算资源、数据资源和服务资源都可以被存取或便捷使用。**6.3.1数据挖掘技术的发展需求现代的科学技术可以方便地把大量信息存储起来，以至于存储的信息以令人难以置信的速度疯狂增长。大量信息在给人们带来方便的同时也带来了问题，庞大的信息被转换成数据存储在数据库当中。*一方面规模庞大、纷繁复杂的数据体系让使用者漫无头绪、无从下手；另一方面在这些大量数据的背后却隐藏着很多具有决策意义的有价值的信息。那么，如何发现这些有用的知识，使之为管理决策和经营战略发展服务。面对这一挑战，数据开采和知识发现（DMKD）技术应运而生。*数据挖掘的核心模块技术历经了数十年的发展，其中包括数理统计、人工智能、机器学习。今天，这些成熟的技术，加上高性能的关系数据库引擎以及广泛的数据集成，让数据挖掘技术在当前的数据仓库环境中进入了实用的阶段。*在电子数据处理的初期，人们就试图通过某些方法来实现自动决策支持，当时机器学习成为人们关心的焦点。机器学习的过程就是将一些已知的并已被成功解决的问题作为范例输入计算机，机器通过学习这些范例，总结并生成相应的规则，这些规则具有通用性，使用它们可以解决某一类的问题。随后，随着神经网络技术的形成和发展，人们的注意力转向知识工程，知识工程不同于机器学习那样需要给计算机输入范例，让它生成出规则，而是直接给计算机输入已被代码化的规则，而计算机是通过使用这些规则来解决某些问题。专家系统就是这种方法所得到的成果，但它有投资大、效果不甚理想等缺点。*6.3.2数据挖掘的定义1、技术上的定义数据挖掘（DataMining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘是一门交叉学科，它集成了许多学科中成熟的工具和技术，包括数据库技术、统计学、机器学习、模型识别、人工智能、神经网络等相关技术。*2、商业角度的定义数据挖掘是一种新的商业信息处理技术，它是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据过程。企业数据量非常大，而其中真正有价值的信息却很少，因此，从大量的数据中经过深层分析，获得有利于商业运作、提高竞争力的信息，就像从矿石中淘金一样，数据挖掘也因此而得名。*数据挖掘与传统的数据分析（如查询、报表、联机应用分析）的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识.数据挖掘所得到的信息应具有先未知,有效和可实用三个特征。**6.3.3数据挖掘系统的体系结构与任务数据挖掘是一个复杂的过程，通常的数据挖掘结构也比较复杂。典型的数据挖掘体系结构图如图6.1所示。这是一个三层结构，从下向上分别是数据、挖掘引擎、用户界面。根据信息存储格式，用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时态数据库、异质数据库以及internet等。*数据挖掘系统的体系结构*数据挖掘主要流程如下。1）定义问题，清晰地定义出业务问题，确定数据挖掘的目的；2）数据准备，选择数据--在大型数据库和数据仓库目标中提取数据挖掘的目标数据集数据预处理--进行数据再加工，包括检查数据的完整性及数据的一致性、去噪声，填补丢失的域，删除无效数据等；3）数据挖掘，根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。*4）结果分析，对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。5）知识的运用，将分析所得到的知识集成到业务信息系统的组织结构中去。数据挖掘的方法主要有神经网络方法、遗传算法、决策树方法、粗集方法、覆盖正例排斥反例方法、统