大数据算法综述.pptxVIP

数据挖掘算法(suàn fǎ)综述 16210720133 2017.04.28 第一页，共23页。CONTENTS1大数据(shùjù)概述数据挖掘算法(suàn fǎ)分类2经典(jīngdiǎn)算法简介3第二页，共23页。PART ONE大数据(shùjù)概述第三页，共23页。大数据(shùjù)概述 大数据是指无法在一定时间范围内用常规的软件工具进行捕捉、管理(guǎnlǐ)和处理的数据集合。是由于目前存储和计算模式与能力不能满足存储与处理现有数据集规模的需求而产生的相对概念。第四页，共23页。大数据(shùjù)平台的设计服务层功能层平台层基于 Web 的大数据挖掘技术：Web 的大数据挖掘方法和流程，实现易于使用的基于Web 的大数据挖掘技术，构建基于 Web 的大数据分析环境。 大数据分布式存储系统： 研究大规模、非结构化数据的存储问题，突破大数据的存储、管理和高效访问关键技术高可扩展性大数据挖掘算法：基于云计算的分布式大数据处理与挖掘算法，构建高可扩展的大数据处理与挖掘算法库第五页，共23页。PART TWO数据挖掘算法(suàn fǎ)分类第六页，共23页。数据挖掘 大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用(yǒu yònɡ)的信息和知识的过程，也是一种决策支持过程。 大数据的挖掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。第七页，共23页。数据挖掘算法(suàn fǎ)分类 找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。 针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。分类 反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。回归分析聚类第八页，共23页。数据挖掘算法(suàn fǎ)分类 一种先进的人工智能技术，具有自行处理、分布存储和高度容错等特性。非常适合处理非线性的以及那些以模糊、不完整、不严密的知识或数据。 隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。 Web 从文档结构和使用的集合C 中发现隐含的模式P，如果将C看做是输入，P 看做是输出，那么Web 挖掘过程就可以看做是从输入到输出的一个映射过程。关联Web数据挖掘神经网络第九页，共23页。PART THREE经典(jīngdiǎn)算法简介第十页，共23页。ID3算法(suàn fǎ) 决策树是一种依托决策而建立起来的一种树。在机器学习中，决策树是一种预测模型，代表的是一种对象属性与对象值之间的一种映射关系，每一个节点(jié diǎn)代表某个对象，树中的每一个分叉路径代表某个可能的属性值，而每一个叶子节点(jié diǎn)则对应从根节点(jié diǎn)到该叶子节点(jié diǎn)所经历的路径所表示的对象的值。决策树仅有单一输出，如果有多个输出，可以分别建立独立的决策树以处理不同的输出。第十一页，共23页。ID3算法(suàn fǎ) ID3算法是决策树的一种，它是基于奥卡姆剃刀原理的，即用尽量用较少的东西做更多的事。在信息论中，期望信息越小，那么信息增益(zēngyì)就越大，从而纯度就越高。ID3算法的核心思想就是以信息增益(zēngyì)来度量属性的选择，选择分裂后信息增益(zēngyì)最大的属性进行分裂。该算法采用自顶向下的贪婪搜索遍历可能的决策空间。第十二页，共23页。ID3算法(suàn fǎ)?第十三页，共23页。ID3算法(suàn fǎ)?第十四页，共23页。ID3算法(suàn fǎ)?第十五页，共23页。C4.5算法(suàn fǎ)C4.5相比于ID3改进的地方(dìfāng)有： 1、用信息增益率来选择属性。 2、在树构造过程中进行剪枝，在构造决策树的时候，那些挂着几个元素的节点，不考虑最好，不然容易导致overfitting。 3、对非离散数据也能处理。 4、能够对不完整数据进行处理。第十六页，共23页。K-Means算法(suàn fǎ) K-Means算法是聚类算法，k在在这里指的是分类的类型数，所以在开始设定的时候非常关键(guānjiàn)，算法的原理是首先假定k个分类点，然后根据欧式距离计算分类，然后取同分类的均值作为新的聚簇中心，循环操作直到收敛。第十七页，共23页。K-Means算法(suàn fǎ)第十八页，共23页。Apriori 关联(guānlián)算法 Apriori算法(suàn fǎ)学习