内容提纲.pptVIP

Data Mining: Concepts and Techniques 内容提纲 一 知识挖掘的基本概念 二 知识发现过程与应用结构 三 关联规则挖掘理论 四 分类方法 五 聚类方法 时间序列和序列模式挖掘 七 Web挖掘技术 什么是知识挖掘? 随着数据采集技术的不断发展,人类每天获取的数据剧增,但数据中隐藏的丰富的知识远远没有得到充分的挖掘与利用,形成了数据爆炸,知识饥饿的状况。知识挖掘就是在这种背景下应运而生的。知识挖掘就是一个从数据集中识别有效的、潜在有用、最终可理解的模式的过程。模式是一个用语言来表示的表达式,它可用来描述数据集的某个子集。我们所说的知识,是对数据包涵的信息更抽象的描述。对大量数据进行分析的过程,包括数据准备、模式搜索、知识评价,以及反复的修改求精。该过程要求有一定程度的智能性、自动性。 数据挖掘技术的商业需求分析 随着信息技术的高速发展，数据库应用的规模、范围和深度不断扩大，网络环境成为主流等等。产生“数据丰富而信息贫乏（Data Rich Information Poor）”现象。 在强大的商业需求的驱动下，商家们开始注意到有效地解决大容量数据的利用问题具有巨大的商机；学者们开始思考如何从大容量数据集中获取有用信息和知识的方法。 随着信息技术的高速发展，人们希望能够提供更高层次的数据处理功能。新的需求推动新的技术的诞生。 数据（Data）、信息（Information）和知识（Knowledge）是广义数据表现的不同形式。 数据、信息和知识 数据挖掘产生的技术背景 数据挖掘是相关学科充分发展的基础上被提出和发展的。 主要的相关技术： 数据库等信息技术的发展 统计学深入应用 人工智能技术的研究和应用 数据挖掘是一个多学科交叉技术 数据库系统的发展 60年代：简单文件处理系统向数据库系统变革 。 70年代：层次、网络和关系型数据库普及。 80年代：RDBS及其相关工具、数据索引及数据组织技术被广泛采用；中期开始，分布式数据库广发讨论，关系数据库技术和新型技术的结合。 90年代：数据库领域中的新内容、新应用、新技术层出不穷，形成了庞大的数据库家族；人们期望分析预测、决策支持等高级应用， Data mining and data warehousing等出现。 本世纪开始： Data mining 得到理论/技术深化。 统计学的深入应用 强大有效的数理统计方法和工具，已成为信息咨询业的基础 。 统计分析技术是基于严格的数学理论和高超的应用技巧的 。 数据挖掘技术是数理统计分析应用的延伸和发展 。 和数据库技术的结合性研究 人工智能技术的研究和应用 人工智能是计算机科学研究中争议最多而又仍始终保持强大生命的研究领域。 专家系统曾经是人工智能研究工作者的骄傲，但是诸多难题限制了专家系统的应用： 知识获取成为专家系统研究中公认的瓶颈问题。 知识表示成为一大难题：知识工程师在整理表达从领域专家那里获得的知识时勉强抽象出来的规则有很强的工艺色彩。 对常识和百科知识出奇地贫乏：人工智能学家Feigenbaum估计，一般人拥有的常识存入计算机大约有100万条事实和抽象经验法则，离开常识的专家系统有时会比傻子还傻。 数据挖掘继承了专家系统的高度实用性特点，并且以数据为基本出发点，客观地挖掘知识。 机器学习得到了充分的研究和发展：理论和算法。 数据挖掘研究在继承已有的人工智能相关领域，特别是机器学习的研究成果的基础上，成为新的研究分支。 数据挖掘处于研究和应用探索阶段 经过十几年的研究和实践，数据挖掘技术已经吸收了许多学科的最新研究成果而形成独具特色的研究分支。 大部分学者认为数据挖掘的研究仍然处于广泛研究和探索阶段： 一方面，数据挖掘的概念已经被广泛接受。 另一方面，数据挖掘的大面积应用还有待时日。 随着KDD在学术界和工业界的影响越来越大，数据挖掘的研究向着更深入和实用技术方向发展： 大学等研究机构的大多数基础性研究集中在数据挖掘理论、挖掘算法等的探讨上。 公司的研究更注重和实际商业问题结合。 数据挖掘的经济价值已经显现出来：Gartner报告中列举重要影响的五项关键技术，其中KDD和人工智能排名第一。 数据挖掘研究聚焦点 数据挖掘在如下几个方面需要重点开展工作： 数据挖掘技术与特定商业逻辑的平滑集成问题：数据挖掘需要代表性的应用实例来证明（像“啤酒与尿布” ）。 数据挖掘技术与特定数据存储类型的适应问题：不同的数据存储方式会影响数据挖掘的具体实现机制、目标定位、技术有效性等。 大型数据的选择与规格化问题： 数据的噪音、信息丢失等问题的处理； 针对特定挖掘方法进行数据规格化等问题。 数据挖掘系统的构架与交互式挖掘技术： 在具体的实现机制、技术路线以及各阶段的功能定位等方面仍需