《数据仓库跟数据挖掘第一节概要(sun)》.pptVIP

关于本课程 数据挖掘融合了数据库、人工智能、机器学习、统计分析、模式发现、可视化技术、信息检索等多个学科领域的知识。 本课程系统地介绍了数据挖掘的概念、理论及其发展、重点介绍了数据挖掘技术及其在实践中的应用。 课程目标 通过本课程的学习，掌握数据挖掘的基本概念、数据挖掘过程、数据仓库的概念、OLAP与数据挖掘的关系。 掌握数据挖掘的常用技术：决策树、神经网络、关联规则、聚类分析、统计学习等。 熟悉数据挖掘技术在典型行业的应用方法，具有运用数据挖掘技术解决问题的能力。 课程体系 数据挖掘概述 数据仓库与OLAP技术 数据挖掘技术 数据挖掘应用 数据挖掘工具 数据挖掘实例 学习方法 课堂讲授及自学 理解数据挖掘的基本概念和原理。 充分利用因特网，查阅相关资料 进一步拓展知识面 熟悉常用的数据挖掘软件，提高数据挖掘的基本处理能力和动手能力。 成绩考核 考试成绩由平时考勤+课堂讨论＋大作业 参考资料 韩家炜，《数据挖掘：概念与技术（第二版）》，中文版，机械工业出版社 王欣等，《SQL Server 2005数据挖掘实例分析》，中国水利水电出版社 数据挖掘.实用机器学习工具和技术 WEKA手册 /dataminingcourse/teaching.asp 参考网站 需要使用的部分软件 SPSS WEKA SQL Server 2005标准版 Excel 第1章数据挖掘概述 引例: 啤酒与尿布 沃尔玛超市建立数据仓库，按周期统计产品的销售信息，经过科学建模后提炼决策层数据。 发现每逢周末，位于某地区的沃尔玛超市连锁店的啤酒和尿布的销售量很大，而且单张发票中同时购买尿布和啤酒的记录非常普遍。 分析人员认为这并非偶然，经过深入分析得知，通常周末购买尿布的是男士，他们在完成了太太交给的任务后，经常会顺便买一些啤酒。 得出这样的结果后，沃尔玛超市的工作人员尝试着将啤酒和尿布摆放在一起销售，结果尿布与啤酒的销售额双双增长。??? 从上面的例子不难看出，数据管理的主要目的是获取信息和分析信息以指导我们的行动或帮助我们作决策。 引言 从大量数据中提取出隐藏在其中的有用信息 数据挖掘，也可以称为数据库中的知识发现(Knowledge Discover Database，KDD)，是从大量数据中提取出可信、新颖、有效并能被人理解的模式的高级处理过程。 本章内容 一、数据挖掘技术的由来 二、数据挖掘的定义 三、数据挖掘发现的知识类型 四、数据挖掘对象 五、数据挖掘任务 六、数据挖掘分类 七、数据挖掘模型 八、数据挖掘过程 一、数据挖掘技术的由来 信息爆炸但知识贫乏 《纽约时报》一周报道的信息总量，比十八世纪一个人一生接触的信息总量还多 “我们正在被信息所淹没，但我们却由于缺乏知识而感到饥饿。” 一、数据挖掘技术的由来 数据挖掘是八十年代投资AI研究项目失败后，AI转入实际应用时提出的。它是一个新兴的，面向商业应用的AI研究。(AI(Artificial Intelligence，人工智能) ) 1989年8月，在美国底特律召开的第11届国际人工智能联合会议的专题讨论会上首次出现数据库中的知识发现（Knowledge Discovery in Database，KDD）这一术语。 随后，在1991年、1993年和1994年都举行KDD专题讨论会，汇集来自各个领域的研究人员和应用开发者，集中讨论数据统计、海量数据分析算法、知识表示、知识运用等问题。最初，数据挖掘是作为KDD中利用算法处理数据的一个步骤，其后逐渐演变成KDD的同义词。 一、数据挖掘技术的由来 现在，人们往往不加区别地使用两者。KDD常常被称为数据挖掘（Data Mining），实际两者是有区别的。一般将KDD中进行知识学习的阶段称为数据挖掘（Data Mining），数据挖掘是KDD中一个非常重要的处理步骤。 数据挖掘是近年来出现的客户关系管理（Customer Relationship Management， CRM）、商业智能（Business Intelligence， BI）等热点领域的核心技术之一。 一、数据挖掘技术的由来 支持数据挖掘技术的基础 海量数据搜索 强大的多处理器计算机 数据挖掘算法 二、数据挖掘的定义 技术角度的定义 数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 该定义包括好几层含义： 数据源必须是真实的、大量的、含噪声的； 发现的是用户感兴趣的知识； 发现的知识要可接受、可理解、可运用； 并不要求发现放之四海皆准的知识，仅支持特定的发现问题。 二、数据挖掘的定义 关于知识的解释 从广义上理解，数据、信息也是知识的表现形式