DM 1 概述 数据预处理 QBai 21-08-2006.ppt

数据挖掘概述 Dr. Qingyuan Bai School of Computer Science Faculty of Mathematics and Computer Science, Fuzhou University Email: baiqy@ References 1. Proceedings in VLDB, AAAI, IJCAI, SIGMOD/SIGPODS, ICDE/ICDT. 2. Jiawei Han(/~hanj/) 3.DBLP(rmatik.uni-trier.de/~ley/db/index.html) 4. 国内外相关网站/论坛 (1)21世纪人工智能论坛 () (2)www.cs.ualberta.ca/~tszhu/webmining/ (3)研学论坛(/index.html) (4)数据挖掘讨论组() 数据挖掘 数据挖掘是在数据大量积累，数据丰富，而知识贫乏，希望从数据中发现知识的方法。 集数据库、统计学、人工智能等技术形成一个新学科 可处理杂乱的数据、定性和定量混合数据、模糊数据、不确定数据和不完整的的数据。 机器学习、人工智能用各种方法解决了一些方法问题，但实用性不够(仅在小数量数据实验可行)。 数据挖掘与其他学科的关系 数据挖掘相关的领域 KDD（知识发现) 机器学习 数据库 统计学 人工智能 模糊逻辑方法和粗糙集方法 神经元网络 模式识别 可视技术 数据挖掘希望回答的问题 信贷中信用评估、信用卡评级、信用卡欺诈 销售一个产品，广告、材料的邮寄对象 保留何种客户、 争取潜在客户，交叉销售 股票违规操作、欺诈行为 货架货物的摆放 国民经济各指标间的关系 疾病、症状、药物、疗效之间的关系 DNA序列的相似分析 导致各种疾病的特定基因序列模式 数据挖掘发展历程 从80年代中后期，数据挖掘和知识发现的方法、技术和系统，从不同角度、不同领域和不同学科进行了研究和实践，主要的学科有数据库、统计学和机器学习。 由于知识发现和数据挖掘日益成熟和广泛发展，1989年在美国底特律召开的IJCAI会议上，召开ＫＤＤ workshop，1991年MIT 出版社出版了一本书 “Knowledge Discovery in Databases”。 数据挖掘发展历程 此后KDD和DM成为研究的热点，并有很大发展和进步，1994年召开了一个国际会议(KDD94), 并于1996年由 MIT出版社又出版了一本书 “Advances in Knowledge Discovery and Data Mining”。 1996年出第一本专著，97年有6-7本，2006年有几百本，中文（翻译，编著）30本以上，国外各大学研究生、大学生均有数据挖掘课程。我国也陆续出书，开设课程。 数据挖掘发展历程 从1995年正式召开第一次国际KDD会议（KDD’95）后，每年召一次。前四次均由美国AAAI组织，1999年提到ACM，成立了SIGKDD。使KDD学术上上了一个档次。 亚太地区也紧跟世界潮流，1997年在新加坡召开了第一次亚太ＫＤＤ会议，其中，１９９９年４月在北京召开了第三届亚太ＫＤＤ会议（ＰＡＫＤＤ９９）。第五届ＰＡＫＤＤ2001年4月16日在我国香港召开。第十五届（2011）在深圳召开。 数据挖掘发展历程 国外有许多研究小组和机构。 自1998年开始，我国许多单位的研究小组开展了KDD的研究与开发工作，我国各大科研资助项目（如“国家自然科学基金”，“973”、“863”、“攻关” ）都设立了KDD的研究课题。一些企业也有此类项目研制和开发。 Data Mining工具、软件、产品 通用工具（非特定领域） SAS Enterprise Miner MinerSPSS Clementine SGI MineSet Oracle Darwin IBM Intelligent Miner Angoss KnowledgeSeeker 综合工具 Business Object Cognos Scenario Data Mining工具、软件、产品 面向应用的工具（特定领域） KD1(重点在零售业） Options Choise (重点在保险业） HNC (重点在欺诈行为探查） Unica Model 1 (重点在市场） Intelligent Miner（数据挖掘，文本挖掘） Mineset DBminer BO 数据挖掘的前景与趋势 有许多预测机构都看好数据挖掘和KDD技术。 权威预测机构Gartner报告中列举了在今后3～5年内对工业将产生重要影响的五项关键技术，其中KDD和人工智能排名第一。 世界有名的Gar