数据仓库与数据挖掘..ppt

(1) 1980年在美国召开了第一届国际机器学习研讨会 明确了机器学习是人工智能的重要研究方向 (2) 1989年8月于美国底特律市召开的第一届知识发现（KDD）国 际学术会议； 首次提出知识发现概念 (3) 1995年在加拿大召开了第一届知识发现和数据挖掘（DM）国际学术会议； 首次提出数据挖掘概念 IEEE的Knowledge and Data Engineering会刊率先在1993年出版了KDD技术专刊。并行计算、计算机网络和信息工程等其他领域的国际学会、学刊也把数据挖掘和知识发现列为专题和专刊讨论。数据挖掘已经成了国际学术研究的重要热点之一。 技术角度的定义 数据挖掘（Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。与数据挖掘相近的同义词包括：数据融合、数据分析和决策支持等。 这一定义包括好几层含义:数据源必须是真实的、海量的、含噪声的;发现的是用户感兴趣的知识;发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。 数据挖掘定义 商业角度的定义 数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性信息。 简言之，数据挖掘其实是一类深层次的数据分析方法。因此，数据挖掘可以描述为:按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证己知的规律性，并进一步将其模型化的有效方法。 一种深层次的数据分析方法。 数据分析本身已有多年的历史，只不过在过去数据收集和分析的一般目的是用于科学研究；另外，由于当时计算能力的限制，很难实现大量数据的复杂分析。 现在，由于各行业业务自动化的实现，商业领域产生了大量的业务数据，这些数据并不是为了分析的目的而收集的，而是在商业运作过程中由于业务需要而自然产生的。数据挖掘不再是单纯为了研究，更主要的是为商业决策提供真正有价值的信息，进而获得利润。 数据挖掘与传统分析方法的区别 数据挖掘与传统数据分析方法区别 （1）数据挖掘的数据源与以前相比有了显著的改变； 数据挖掘出现的背景是“数据爆炸但知识贫乏”，数据是海量的；数据有噪声；数据可能是非结构化的； （2）传统的数据分析方法一般都是先给出一个假设然后通过数据验证，在一定意义上是假设驱动的；与之相反，数据挖掘在一定意义上是发现驱动的，模式都是通过大量的搜索工作从数据中自动提取出来 。即数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识，挖掘出的信息越是出乎意料，就可能越有价值。在商业应用中最典型的例子就是一家连锁店通过数据挖掘发现了小孩尿布和啤酒之间有着惊人的联系。 数据挖掘与其他科学的关系 数据挖掘作为一门新兴的交叉学科，涉及数据库系统、数据仓库、统计学、机器学习、可视化、信息检索和高性能计算等诸多领域。 此外，还与神经网络、模式识别、空间数据分析、图像处理、信号处理、概率论、图论和归纳逻辑等等领域关系密切。 国内研究 与国外相比，国内对数据挖掘的研究起步稍晚，但发展势头强劲。我国于1987年召开了第一届全国机器学习研讨会。 1993年，国家自然科学基金首次资助复旦大学对该领域的研究项目。 目前，国内的许多科研单位和高等院校竞相开展知识发现的基础理论及其应用研究。 发展趋势 近年来，数据挖掘的研究重点逐渐从发现方法转向系统应用，注重多种发现策略和技术的集成，以及多学科之间的相互渗透。 例如，1998年在美国纽约举行的第四届知识发现与数据挖掘国际学术会议不仅进行了学术讨论，并且有30多家软件公司展示了他们的数据挖掘软件产品，不少软件已在北美、欧洲等国得到应用。 展望 未来的热点应用领域 网站的数据挖掘（Web site data mining） 生物信息或基因的数据挖掘 文本挖掘（Textual mining） 多媒体挖掘 网站的数据挖掘（Web site data mining） 当前Internet上各类电子商务网站风起云涌，电子商务业务的竞争比传统的业务竞争更加激烈。客户从一个电子商务网站转换到竞争对手那边，只需点击几下鼠标即可，电子商务环境下客户保持比传统商业更加困难。若想在