第11讲 数据掘概述Chapter 11 Introduction to Data Mining.ppt

第11讲 数据挖掘概述Chapter 11 Introduction to Data Mining 徐从富(Congfu Xu), PhD, Asso. Professor 浙江大学人工智能研究所 2005年5月17日第一稿 2006年10月30日第二次修改 内容提纲 数据挖掘介绍 数据挖掘系统 数据挖掘算法 国际会议和期刊 课后研读的论文 主要参考资料 数据挖掘介绍 数据挖掘的由来 数据挖掘的应用 基本概念区分 数据挖掘基本内容 数据挖掘基本特征 数据挖掘的其他主题 数据挖掘的由来 背景 网络之后的下一个技术热点 数据爆炸但知识贫乏 从商业数据到商业信息的进化 背景 人类已进入一个崭新的信息时代 数据库中存储的数据量急剧膨胀 需要从海量数据库和大量繁杂信息中提取有价值的知识，进一步提高信息的利用率 产生了一个新的研究方向：基于数据库的知识发现（Knowledge Discovery in Database），以及相应的数据挖掘（Data Mining）理论和技术的研究 随着大数据库的建立和海量数据的不断涌现，必然提出对强有力的数据分析工具的迫切需求。但现实情况往往是“数据十分丰富，而信息相当贫乏。” 快速增长的海量数据收集、存放在大型数据库中，没有强有力的工具，理解它们已经远远超出人的能力。因此，有人称之为：“数据坟墓”。 由于专家系统工具过分依赖用户或专家人工地将知识输入知识库中，而且分析结果往往带有偏差和错误，再加上耗时、费用高，故不可行。 网络之后的下一个技术热点 大量信息在给人们带来方便的同时也带来了一大堆问题： 信息过量，难以消化 信息真假难以辨识 信息安全难以保证 信息形式不一致，难以统一处理 数据爆炸但知识贫乏 随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏”的现象。 从商业数据到商业信息的进化 KDD的出现 基于数据库的知识发现（KDD）一词首次出现在1989年举行的第十一届AAAI学术会议上。 1995年在加拿大蒙特利尔召开了第一届KDD国际学术会议（KDD’95）。 由Kluwers Publishers出版，1997年创刊的《Knowledge Discovery and Data Mining》是该领域中的第一本学术刊物。 数据挖掘是多学科的产物 KDD已经成为人工智能研究热点 目前，关于KDD的研究工作已经被众多领域所关注，如过程控制、信息管理、商业、医疗、金融等领域。 作为大规模数据库中先进的数据分析工具，KDD的研究已经成为数据库及人工智能领域研究的一个热点。 数据挖掘的应用 电信 ：流失 银行：聚类（细分）, 交叉销售 百货公司/超市：购物篮分析 （关联规则） 保险：细分，交叉销售，流失（原因分析） 信用卡： 欺诈探测，细分 电子商务： 网站日志分析 税务部门：偷漏税行为探测 警察机关：犯罪行为分析 医学： 医疗保健 银行 金融事务需要搜集和处理大量的数据，由于银行在金融领域的地位、工作性质、业务特点以及激烈的市场竞争决定了它对信息化、电子化比其它领域有更迫切的要求。利用数据挖掘技术可以帮助银行产品开发部门描述客户以往的需求趋势，并预测未来。美国商业银行是发达国家商业银行的典范，许多地方值得我国学习和借鉴。 数据挖掘在银行领域的应用 美国银行家协会(ABA)预测数据仓库和数据挖掘技术在美国商业银行的应用增长率是14.9％。 分析客户使用分销渠道的情况和分销渠道的容量 ；建立利润评测模型；客户关系优化；风险控制等 Mellon银行使用数据挖掘软件提高销售和定价金融产品的精确度，如家庭普通贷款。 美国Firstar银行使用数据挖掘工具，根据客户的消费模式预测何时为客户提供何种产品。 基本概念区分 数据挖掘与知识发现 数据挖掘和数据仓库 数据挖掘与信息处理 数据挖掘与联机分析 数据挖掘与人工智能、统计学 数据挖掘和知识发现 数据挖掘（Data Mining）从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。与之相似的概念称为知识发现。 知识发现（Knowledge Discovery in Databases）是用数据库管理系统来存储数据，用机器学习的方法来分析数据，挖掘大量数据背后隐藏的知识，称为数据库中的知识发现。 数据挖掘和数据仓库 大部分情况下，数据挖掘都要先把数据从数据仓库中拿到数据挖掘库或数据集市中。从数据仓库中直接得到进行数据挖掘的数据有许