浅谈数据挖掘.docVIP

浅谈数据挖掘 赵明茹 （北京物资学院 信息学院101149） 摘要： 数据挖掘是从海量数据中抽取出有价值知识的有效工具。本文论述了数据挖掘的由来，数据挖掘的过程以及数据挖掘的功能。 关键词：数据挖掘；关联分析；聚类 引言 数据挖掘是指从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘将人们对数据的应用，从低层次的简单查询，提升到从数据中挖掘有用的信息和知识，提高决策能力的水平。随着数据库技术的迅速发展以及数据库管理系统的广泛应用，积累的数据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，以便更好地利用这些数据。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了数据爆炸但知识贫乏的。如何从海量的信息资源中挖掘出潜在的信息，是企业迫切需要解决的问题。数据挖掘为解决该问题提供了新的途径。SAS研究所提出的SEMMA方法是目前最受欢迎的一种数据挖掘方法，其描述的数据挖掘的大致过程包括取样、探索、和评价。1、数据取样。在进行数据挖掘之前，首先要根据数据挖掘的目标选定相关的数据库。通过创建一个或多个数据表进行抽样。2、数据探索。数据探索就是通过对数据进行深入探察以发现隐藏在数据中预期的或未被预期的关系和异常，从而获取对事物的理解和概念。3、数据调整。在上述两个步骤的基础上对数据进行增删修改，使之更明确、更有效。4、建模。数据建模指的是对现实世界各类数据的抽象组织，使用人工神经网络、回归分析、决策树、时间序列分析等分析工具来建立模型，从数据中发现那些能够对预测结果进行可靠预测的模型。5、评价。就是对从数据挖掘过程中发现的信息的实用性和可靠性进行评估。数据挖掘的目标是从数据库中发现隐含的、有意义的知识，主要有以下五类功能。 自动预测趋势和行为 数据挖掘自动在大型数据库中寻找预测性信息，以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。一个典型的例子是市场预测问题， 数据挖掘使用过去有关促销的数据来寻找未来投资中回报最大的用户，其它可预测的问题包括预报破产以及认定对指定事件最可能作出反应的群体。? 关联分析关联是数据库中存在的一类重要的可被发现的知识聚类 数据库中的记录可被化分为一系列有意义的子集，即聚类。概念描述偏差检测 数据库中的数据常有一些异常记录，从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。偏差检测的基本方法是，寻找观测结果与参照值之间有意义的差别。 何京舟浅议数据挖掘技术与财务分析 中国集体经济 作者简介： 赵明茹 北京物资学院 信息学院 教师 讲师，研究方向是数据挖掘。 2