数据挖掘-DM1序论.ppt

一些流行的算法与软件 DBMiner(/Insight/AX/SX/DX): Decision Tree Classification Clustering (Segmentation) 一些流行的算法与软件 MineSet：SGI公司 EPIINFOEPIMAP (Epidemiology Information): 美国CDC（疾病控制中心）和WHO联合发布，/epiinfo/epiinfo.htm DMOS（Data Mining Optimization System）: 国内的思华数据技术有限公司与上海大学，mainly for industry optimization CHISS统计软件 ：中华高智统计软件。 MSMiner：中科院计算技术研究所 ………………………… 提供了一些DM系统和工具的性能测试报告 References： BOOK： Jiawei Han, Micheline Kamber; Data Mining: Concepts and Techniques, 2007,Morgan Kaufmann Publishers。 杨杰，姚莉秀，数据挖掘技术及其应用，上海交通大学出版社，2011 JOURNAL： Knowledge and Data Engineering PAMI(Pattern Analysis and Machine Learning) Pattern Recognition PR Letter others UCI database：/~mlearn/MLSummary.html 课程安排 Transfer Learning Deep Learning Increment Learning 第一次课： “绪论”、布置任务 第二次课： 学生查阅文献，结合研究方向或研究兴趣定下自己的讨论方向，5月5日24点前发到我的信箱。（课下完成） 第三次课： “预处理”、安排分组情况 第四次课： “分类与回归” 第五次课： “面向属性的归纳”、第一次学术讨论 第六次课： “关联分析”、第二次学术讨论 第七次课： “聚类”、第三次学术讨论 第八次课： ???????????? * * DM最成功的应用——零售数据的关联分析 * * 数据挖掘的定义 数据挖掘的历史虽然较短，但从20世纪90年代以来，它的发展速度很快，加之它是多学科综合的产物，目前还没有一个完整的定义，人们提出了多种数据挖掘的定义，例如： SAS研究所（1997）：“在大量相关数据基础之上进行数据探索和建立相关模型的先进方法”。 Bhavani（1999）：“使用模式识别技术、统计和数学技术，在大量的数据中发现有意义的新关系、模式和趋势的过程”。 关键词：大量 数据挖掘的定义——韩家炜 简单的说，DM就是从大量数据(Large amount data) 里挖掘或提取有用的知识。 广义的说，DM是一个从存储在Data base/data warehouse或其它介质里的大量数据中识别有效的、新颖的、有潜在价值的以及最终可理解的模式的非常规的过程。 技术上的定义，DM就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 Big data 数据: Static numeric data：1，2，3… (Time) Series Data (the data related to time change) Stock analysis, Bank account, Sensor data etc. Bioinformatics Spatial Data (the data related to spatial or geographical information, GIS) Remote Sensing, Census Text Data (word, sentence, journal etc.) Web log mining , Machine translate Multimedia Data (figure, image, hyper-text, sound etc.) Content-based Image Retrieval 一、数据挖掘的概念 二、数据挖掘技术的发展 三、功能与应用 四、DM的处理流程 五、一些流行的数据挖掘软件 1、1989年，USA Detroit,召开的11th国际人工智能联合会议的专题讨论会上，首次提出KDD的概念 2、1995年在Canada蒙特利