数据挖掘 第1章--引论.pptxVIP

数据挖掘与商务智能范勤勤物流研究中心联系方式办公地点：科研楼429BEmail: mailto:forever123fan@163.comforever123fan@163.com考核方式闭卷考试（70%）+考勤（30%）课时安排总学时36，起止1-9周目录 第一章内容安排第一章 绪论第二章 挖掘频繁模式、关联和相关性第三章 分类：基本概念第四章 分类：高级方法第五章 聚类分析：基本概念和方法第六章 离群点检测第七章 认识数据第八章 数据预处理目录 第一章参考书Jiawei Han, Micheline Kamber, Jian Pei(著). 范明，孟小峰.（译） 数据挖掘：概念与技术，机械工业出版社，2012.Margaret H. Dunham. 数据挖掘教程. 清华大学出版社. 2003(英文)U. M. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy. Advances in Knowledge Discovery and Data Mining. AAAI/MIT Press, 1996.史忠植. 知识发现. 清华大学出版社, 2002.陈文伟，黄金才. 数据仓库与数据挖掘.人民邮电出版社，2004 目录 第一章第一章绪论1为什么进行数据挖掘？2什么是数据挖掘？3可以挖掘什么类型的数据？4可以挖掘什么类型的模式？5使用什么技术？6面向什么类型的应用？7数据挖掘的主要问题？目录 第一章为什么进行数据挖掘？数据挖掘的发展动力数据爆炸问题自动数据收集工具和成熟的数据库技术使得大量的数据被收集，存储在数据库、数据仓库或其他信息库中以待分析Business：Web, e-commerce, transactions, stocks,…Science: Remote sensing, bioinformatics, scientific simulation,…Society and everyone: News, YouKu, wechat, QQ,….数据挖掘的发展动力巨量数据的例子Europe‘s Very Long Baseline Interferometry (VLBI,特长基线干涉仪) ：16个天文望远镜，每个望远镜每秒产生1个G的天文观测数据。电信公司数据：每天有几十亿的电话。银行数据：交易记录。百度：每天处理的数据量将近100个PB，1PB=100万个G，相当于5000个国家图书馆的信息量总和。航运：一艘营运中的船舶，24小时内通常会生成高达2GB的数据信息，这包括天气、发动机、航行位置、速度、燃油消耗等。数据挖掘的发展动力-社会需求我们拥有丰富的数据，但却缺乏知识人们渴望通过对这些庞大的数据分析得到更多的有助于决策的信息。虽然，目前的数据库系统可以高效率地实现数据的录入、查询、统计等功能，但由于数据量庞大以及数据库系统中分析方法的严重缺乏，使得它无法发现数据中隐藏的相互联系，更无法根据当前的数据去预测未来的发展趋势。因此，出现了所谓“数据多，知识少”的现象，造成了严重的资源浪费。数据挖掘的发展动力解决方法数据仓库技术和数据挖掘技术数据仓库(Data Warehouse)和在线分析处理(OLAP)数据挖掘社会信息化后，社会的运转是软件的运转社会信息化后，社会的历史是数据的历史从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术的综合数据库技术的演化 数据收集和数据库创建文件系统1960s和以前层次数据库和网状数据库 数据管理系统1970s关系数据模型，关系数据库管理系统(RDBMS)的实现1980s早期1980s晚期各种高级数据库系统(扩展的关系数据库、面向对象数据库等等) 面向应用的数据库系统 (空间数据库、时序数据库、多媒体数据库等等）数据挖掘、数据仓库、多媒体数据库和网络数据库1990s2000s流数据管理和挖掘基于各种应用的数据挖掘XML数据库和整合的信息系统什么是数据挖掘？概述数据挖掘 (从数据中发现知识) 从大量的数据中挖掘哪些令人感兴趣的（易被理解、新颖的、潜在有用的、非平凡的）模式或知识 挖掘的不仅仅是数据（所以“数据挖掘”并非一个精确的用词）数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型数据挖掘的替换词数据库中的知识挖掘（KDD）知识提炼数据/模式分析数据考古数据捕捞、信息收获等等数据挖掘: 数据库中的知识挖掘(KDD)Knowledge数据挖掘——知识挖掘的核心模式评估数据挖掘任务相关数据选择数据仓库数据清理数据集成数据库KDD的步骤KDD过程数据清理: (消除噪声和删除不一致的数据。占全过程60％的工作量)数据集成（多种数据源可以组合在一起）数据选择（从数据库中提取与分析任务相关的数据）数据变换（数据变