Lecture 1-引言教学文稿.pptVIP

2018年5月23日星期三 Data Mining: Concepts and Techniques 1 数据挖掘: 概念与技术 王家兵 博士 华南理工大学计算机科学与工程学院 E-mail: jbwang@ 2018年5月23日星期三 Data Mining: Concepts and Techniques 2 课时安排及成绩评定 总学时：40学时，其中： 理论课时：24学时（1－8周） 实验课时：16学时（9－13周） 最终成绩由三部分构成，其中： 笔试成绩：70% 平时成绩：20% 实验成绩：10% 2018年5月23日星期三 Data Mining: Concepts and Techniques 3 内容安排 引言 数据预处理 数据仓库、OLAP、及数据立方体计算 频繁模式及关联挖掘 有监督学习－分类和预测 无监督学习－聚类分析 数据流挖掘 2018年5月23日星期三 Data Mining: Concepts and Techniques 4 Lecture 1. 引言 什么是数据挖掘? 为什么需要数据挖掘? 数据挖掘: 能对什么样的数据进行挖掘? 如何挖掘－数据挖掘的功能分类 模式评价－所有模式都是有趣的吗? 10大数据挖掘算法 数据挖掘面临的主要问题 相关资源 2018年5月23日星期三 Data Mining: Concepts and Techniques 5 什么是数据挖掘? 数据挖掘 Data Mining 从海量数据中提取有兴趣的模式（Pattern）或知识（knowledge） Mining Knowledge from Data 其它常用名 数据库中的知识发现（Knowledge Discovery in Databases)、知识提取（Knowledge Extraction）数据/模式分析（ Data/Pattern Analysis）、商务智能（Business Intelligence）, 等等. 2018年5月23日星期三 Data Mining: Concepts and Techniques 8 数据库技术的演化过程 1960s: 数据收集, 数据库创建等 1970s: 关系数据模型（Relational data model）, 关系数据库的实现 1980s: 关系数据库管理系统（RDBMS）, 高级数据模型 面向应用的数据库管理系统(spatial, scientific, engineering, etc.) 1990s: 数据挖掘, 构造数据仓库, 多媒体数据库, Web数据库 2000s 流数据管理与挖掘 Web技术与全球信息系统 2018年5月23日星期三 Data Mining: Concepts and Techniques 9 应用领域 购物篮分析: 沃尔玛公司“尿布与啤酒”的故事。 美国折扣零售商（Target）与怀孕预测：公司发现怀孕第三个月会买什么、再在什么时间段会买什么等。 网页分类与网站布局。 拼写检查 微软拼写检查器（开发了20多年，每年花费几百万美元进行维护，且只适用常用语言） 谷歌：几乎是免费，几乎是世界上所有语言，利用用户反馈（每天超过30亿的查询输入，从用户输错的查询中创建拼写检查系统） 应用领域 2009流感（H1N1）预测： 官方做流行病学调查再通告通常会有1至2两周的延迟。 谷歌利用用户输入的查询进行分析（特定检索词条的使用频率与流感在时间和空间上的传播之间的关系等）提前几周做出了预测（包括时间、地点，发表在Nature杂志），且与官方的相关性达到97% DNA与生物数据挖掘：人人成为高富帅与白富美？ 2018年5月23日星期三 Data Mining: Concepts and Techniques 10 2018年5月23日星期三 Data Mining: Concepts and Techniques 11 知识发现的主要过程 数据挖掘－知识发现的核心 Data Cleaning Data Integration Databases Data Warehouse Task-relevant Data Selection Data Mining Pattern Evaluation 2018年5月23日星期三 Data Mining: Concepts and Techniques 12 知识发现的主要过程 创建目标数据集：数据选择 数据预处理：数据清洗、数据约简与数据变换 构建数据仓库（可选） 数据挖掘 模式评价与知识表示 知识的使用 2018年5月23日星期三 Data Mining: Concepts and Techniques 13 数据挖掘与商务智能 Increasing potential to s