03.《大数据》配套PPT之三：第3章 数据挖掘算法（上）.pptxVIP

全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用大数据BIG DATA全国高校标准教材《云计算》姊妹篇，剖析大数据核心技术和实战应用第三章　数据挖掘算法3.1　数据挖掘概述3.2　分类3.3　聚类3.4　关联规则3.5　预测规模3.6　数据挖掘算法综合应用习题of393.1数据挖掘概述第三章 数据挖掘算法3.1.1 数据挖掘概念20世纪80年代末，数据挖掘（Data Mining，DM）提出。1989年，KDD 这个名词正式开始出现。1995年，“数据挖掘” 流传。从科学定义分析，数据挖掘是从大量的、有噪声的、不完全的、模糊和随机的数据中，提取出隐含在其中的、人们事先不知道的、具有潜在利用价值的信息和知识的过程。从技术角度分析，数据挖掘就是利用一系列的相关算法和技术，从大数据中提取出行业或公司所需要的、有实际应用价值的知识的过程。知识表示形式可以是概念、规律、规则与模式等。准确地说，数据挖掘是整个知识发现流程中的一个具体步骤，也是知识发现过程中最重要的核心步骤。特征处理大数据的能力更强，且无须太专业的统计背景就可以使用数据挖掘工具从使用与需求的角度上看，数据挖掘工具更符合企业界的需求数据挖掘的最终目的是方便企业终端用户使用，而并非给统计学家检测用的of393.1数据挖掘概述第三章 数据挖掘算法3.1.2 数据挖掘常用算法使用广义角度估值分类聚类预测关联规则可视化···机器学习方法决策树基于范例学习规则归纳遗传算法···数理基础角度回归分析时间序列分析关联分析聚类分析模糊集统计方法粗糙集探索性分析支持向量机最近邻分析···前向神经网络自组织神经网络感知机神经网络方法多层神经网络深度学习···of393.1数据挖掘概述第三章 数据挖掘算法3.1.2 数据挖掘常用算法1．分类数据挖掘方法中的一种重要方法就是分类，在给定数据基础上构建分类函数或分类模型，该函数或模型能够把数据归类为给定类别中的某一种类别，这就是分类的概念。2．聚类聚类也就是将抽象对象的集合分为相似对象组成的多个类的过程，聚类过程生成的簇称为一组数据对象的集合。3．关联规则关联规则属于数据挖掘算法中的一类重要方法，关联规则就是支持度与信任度分别满足用户给定阈值的规则。4．时间序列预测时间序列预测法是一种历史引申预测法，也即将时间数列所反映的事件发展过程进行引申外推，预测发展趋势的一种方法。of393.1数据挖掘概述第三章 数据挖掘算法3.1.3 数据挖掘应用场景按照数据挖掘的应用场景分类，数据挖掘的应用主要涉及通信、股票、金融、银行、交通、商品零售、生物医学、精确营销、地震预测、工业产品设计等领域，在这些领域众多数据挖掘方法均被广泛采用且衍生出各自独特的算法。1．数据挖掘在电信行业的应用数据挖掘广泛应用在电信行业，可以帮助企业制定合理的服务与资费标准、防止欺诈、优惠政策，为公司决策者提供可靠的决策依据，为市场营销、客户服务、全网业务、经营决策等提供有效的数据支撑，进一步完善了国内电信公司对省、市电信运营的指导，在业务运营中发挥重要的作用，从而为精细化运营提供技术与数据的基础。2．数据挖掘在商业银行中的应用在美国银行业与金融服务领域数据挖掘技术的应用十分广泛，由于金融业务的分析与评估往往需要大数据的支撑，从中可以发现客户的信用评级与潜在客户等有价值的信息，可成功地预测客户的需求。of393.1数据挖掘概述第三章 数据挖掘算法3.1.3 数据挖掘应用场景3．数据挖掘在信息安全中的应用利用机器学习与数据挖掘等前沿技术与处理方法对入侵检测的数据进行自动分析，提取出尽可能多的隐藏安全信息，从中抽象出与安全有关的数据特征，从而能够发现未知的入侵行为。数据挖掘技术可以建立一种具备自适应性、自动的、系统与良好扩展性的入侵检测系统，能够解决传统入侵检测系统适应性与扩展性较差的弱点，大幅度提高入侵检测系统的检测与响应的效能。4．数据挖掘在科学探索中的应用近年来，数据挖掘技术已经开始逐步应用到科学探索研究中。例如，在生物学领域数据挖掘主要应用在分子生物学与基因工程的研究。 使用概率论模型对蛋白质序列进行多序列联配建模； 特定数据挖掘技术研究基因数据库搜索技术； 在被认为是人类征服顽疾的最有前途的攻关课题“DNA序列分析”过程中，由于DNA序列的构 成多种多样，数据挖掘技术的应用可以为发现疾病蕴藏的基因排列信息提供新方法。of393.1数据挖掘概述第三章 数据挖掘算法3.1.4 数据挖掘工具根据适用的范围，数据挖掘工具分为两类：专用挖掘工具和通用挖掘工具。专用数据挖掘工具针对某个特定领域的问题提供解决方案，在涉及算法的时候充分考虑数据、需求的特殊性。对任何应用领域，专业的统计研发人员都可以开发特定的数据挖掘工具。公开的数据挖掘工作平台，集成大量能承担数据挖掘任务的机器学习算法，包