浅议统计数据挖掘方法及应用.docVIP

浅议统计数据挖掘方法及应用摘要：在我国，经济统计工作的进行是为了有效地反映经济发展状况，为决策者提供有效决策的依据。因此，统计部门在进行经济统计时必须重视经济统计信息的准确性和可靠性。统计数据挖掘技术可以从混乱、纷繁的数据中提取关键的信息与知识，有利于过程控制、决策支持、查询优化、信息管理等工作的顺利开展，在信息爆炸的时代具有十分重要的应用价值。因此，分析统计数据挖掘的方法，探究统计数据挖掘技术的恰当应用是非常必要的。 关键词：统计数据挖掘；聚类分析方法；统计基础方法 中图分类号：TP311.13 文献标识码：A文章编号：1007-9599(2012)05-0000-02 数据挖掘是由数据采集、数据处理、数据规则知识表达和知识应用与服务等几个方面组成。其中，数据采集是基础，数据处理是关键，数据规则知识表达是形式，知识应用与服务是目的。现实世界中的大部分数据是有污染的，任何对数据的分析和挖掘都是建立在或多或少的病态数据基础上的，没有好的数据，就不可能提供可靠的规则和知识。规则往往是被大量复杂的数据项隐藏，有些数据是冗余的，有些数据是完全无关的，它们的存在有可能影响到有价值规则的发现，这必然要求我们在数据处理过程中把好数据关，即选择什么样的数据，如何进行数据清理，对选择好的数据如何处理、要进行哪些处理，只有过好数据关才能保证整个基于统计分析的数据挖掘工作的顺利完成。 一、数据挖掘技术的概念及特征 数据挖掘技术，简单地说就是从大量的数据信息中挖掘出有用的信息。这里大量的数据信息通常被认为是不完全的、模糊的、有噪音的、随机的，是完全没有加以处理的信息。而挖掘之后呈现的就是有效的、潜在有用的、新颖的信息。这样的一个变化过程，也常常被认为是数据挖掘。 数据挖掘，可以是经济信息转换的一个过程，还可以是一门交叉的学科。数据挖掘是一门涉及面广的学科，包括机器学习、神经网络、数据库、数据统计等等，现在广泛应用于统计界。数据挖掘作为一个信息转换的过程，其大体的步骤是：数据准备――数据挖掘――结果分析总结。 数据挖掘的主要功能是：分类、预测模型、数据聚类、数据总结等。数据挖掘的特点，同时又是数据挖掘的优点有以下几点：其一，处理的数据量巨大；其二，具有自动找寻信息的功能；其三，能够有效地描绘过去和预测未来；其四，信息反映快捷及时。数据挖掘常常采用的一些技术有：关联规则方法、聚集检测、记忆基础推理方法、链接分析等等。 二、统计数据挖掘的内容 随着统计信息化工程的进展，各地市统计系统的数据库建设正在紧锣密鼓地进行，有的已经开始，有的正在酝酿之中。一般小型数据库采用了FoxPro、Access等数据库软件，大型数据库采用了oracle系统，同时一些大型企业也都建立了自己的统计数据库。另外还有基于Web的统计数据库系统，这些不同数据源收集的统计信息，通过数据清理、数据变换、数据集成、数据装人和定期数据刷新就构成了一个大型的统计数据仓库，为统计数据的挖掘创造了条件。具体来讲统计数据挖掘的内容有： （一）时间序列数据序的挖掘 时间序列数据库是存放随时间变化序列值的数据库，包括反映月度、季度变化的进度数据库以及年度数据库，由于这些数据是经过长期历史积累形成的，因此显得尤其珍贵。其中有些是反映国家或某一地区国家经济和社会发展的，出现在各种统计年鉴中的，有些是反映企业的生产、销售、成本等状况的，有些是反映市场状况的，如交易状况。 通过对时间序列数据库的挖掘，可以发现数据库中对象演变特征或对象的变化趋势，以及相互之间的长期均衡的各种关系，利用这些信息可以进行有关预测及决策和进一步的定量分析。 （二）截面数据库的挖掘 截面数据库是存放同一时间上不同个体数据指标的数据库，包括不同省市、城市、县镇区的宏观经济指标数据库，也包括不同企业、家庭及居民的各种行为指标数据库，反映了不同个体之间的差异性及特殊性。 通过对截面数据库的挖掘，可以发现不同个体之间呈现出的各种规律及量化关系，以及通过统计中的聚类分析、判别分析，对不同个体进行分类，还可以进行孤立点分析，判别出那些数据与数据的一般行为或模型不一致，例如可以发现信用卡欺诈、为骗取保险金的伪保险、交易中的违规交易等。 （三）统计信息数据库的挖掘 统计信息涵盖了国家社会、经济、科技信息的主要方面，是国家重要的基本信息资源。统计工作信息化的建设一直是各级统计部门工作中的重点，已经初具规模，有FoxPro为系统的小型信息数据库，也有oracle大型数据库管理系统，此外，还开发引进了一些通用的和专用的报表处理、统计报表排版、统计分析等应用较件，各种统计信息资源应有尽有。同是大型企业也十分重视建立统计信息管理系统，主要用于企业内部的统计业务处理