数据挖掘综述讲义.ppt

6 数据挖掘常用技术 6.1 人工神经网络 6.2 决策树 6.3 遗传算法 6.4 近邻算法 6.5 规则推导 6.1 人工神经网络 优点1: 为解决大复杂度问题提供了一种相对来说比较有效的简单方法。神经网络可以很容易的解决具有上百个参数的问题。 优点 2：很容易在并行计算机上实现，可以把他的节点分配到不同的CPU上并行计算。 在使用神经网络时的几点注意 神经网络很难解释，目前还没有能对神经网络做出显而易见解释的方法学。 神经网络会过度学习，在训练神经网络时一定要恰当的使用一些能严格衡量神经网络的方法，如测试集方法和交叉验证法等。这主要是由于神经网络太灵活、可变参数太多，如果给足够的时间，他几乎可以“记住”任何事情。 在使用神经网络时的几点注意 除非问题非常简单，训练一个神经网络可能需要相当可观的时间才能完成。当然，一旦神经网络建立好了，在用它做预测时运行时还是很快得。 建立神经网络需要做的数据准备工作量很大。 　6.2 决策树 决策树是应用最广的归纳推理算法之一。它提供了一种获取分类规则的方法。 决策树的基本组成部分：根节点、分支和叶节点。 决策树很擅长处理非数值型数据，这与神经网络只能处理数值型数据比起来，就免去了很多数据预处理工作。 甚至有些决策树算法专为处理非数值型数据而设计。 6.3遗传算法 　基于进化理论，并采用遗传结合、遗传变异、以及自然选择等设计方法的优化技术。 7 数据挖掘的主要流程（四个阶段） 系统的数据挖掘过程是一个不断循环、优化的过程。 数据挖掘各阶段的工作量 Data Mining牵涉大量的规划与准备，专家声称高达80%的过程花在准备数据阶段。 确定业务对象 数据准备 模式发现 模式评估与解释 8 数据挖掘未来研究方向及热点 8.1 数据挖掘未来研究方向 8.2 数据挖掘热点　8.2.1 网站的数据挖掘　　 8.2.2 生物信息或基因的数据挖掘　8.2.3 文本的数据挖掘 8.1 数据挖掘未来研究方向 发现语言的形式化描述，即研究专门用于知识发现的数据挖掘语言。 寻求数据挖掘过程中的可视化方法，使知识发现的过程能够被用户理解，也便于在知识发现的过程中进行人机交互。 研究在网络环境下的数据挖掘技术特别是在因特网上建立DMKD服务器，并且与数据库服务器配合，实现Web Mining。 加强对各种非结构化数据的开采 ，如对文本数据、图形数据、视频图像数据、声音数据乃至综合多媒体数据的开采。 知识的维护更新。 9 数据挖掘的应用 数据挖掘解决的典型商业问题　　需要强调的是，数据挖掘技术从一开始就是面向应用的。目前，在很多领域，数据挖掘(data mining)都是一个很时髦的词，尤其是在如银行、电信、保险、交通、零售（如超级市场）等商业领域。数据挖掘所能解决的典型商业问题包括：数据库营销（Database Marketing）、客户群体划分（Customer Segmentation Classification）、背景分析（Profile Analysis）、交叉销售（Cross-selling）等市场分析行为，以及客户流失性分析(Churn Analysis)、客户信用记分(Credit Scoring)、欺诈发现(Fraud Detection)等等。 数据挖掘在市场营销的应用 　　数据挖掘技术在企业市场营销中得到了比较普遍的应用，它是以市场营销学的市场细分原理为基础，其基本假定是“消费者过去的行为是其今后消费倾向的最好说明”。　　通过收集、加工和处理涉及消费者消费行为的大量信息，确定特定消费群体或个体的兴趣、消费习惯、消费倾向和消费需求，进而推断出相应消费群体或个体下一步的消费行为，然后以此为基础，对所识别出来的消费群体进行特定内容的定向营销，这与传统的不区分消费者对象特征的大规模营销手段相比，大大节省了营销成本，提高了营销效果，从而为企业带来更多的利润。 10 成功案例 电话收费和管理办法 加拿大BC省电话公司要求加拿大Simon Fraser大学KDD研究组根据其拥有的十多年的客户数据，总结、分析并提出新的电话收费和管理办法，制定既有利于公司又有利于客户的优惠政策。 竞技运动中的数据挖掘 大约20个NBA球队使用了IBM公司开发的数据挖掘应用软件Advanced Scout系统来优化他们的战术组合。 例如Scout就因为研究了魔术队队员不同的布阵安排，在与迈阿密热队的比赛中找到了获胜的机会。　　----系统分析显示魔术队先发阵容中的两个后卫安佛尼.哈德卫(Anfernee Hardaway