浅谈统计数据挖掘的方法及应用.pdfVIP

计算机光盘软件与应用 工程技术 2012年第 5期 浅谈统计数据挖掘的方法及应用 谢冬 (福建省福鼎市医院信息科 ，福建福鼎 355200) 摘要 ：在我国，经济统计工作的进行是为了有效地反映经济发展状况，为决策者提供有效决策的依据。因此， 统计部 门在进行经济统计时必须重视经济统计信息的准确性和可靠性。统计数据挖掘技术可以从混乱、纷繁的数据 中提取关键的信息与知识，有利于过程控制、决策支持、查询优化、信息管理等工作的顺利开展，在信息爆炸的时 代具有十分重要的应用价值。因此，分析统计数据挖掘的方法，探究统计数据挖掘技术的恰当应用是非常必要的。 关键词：统计数据挖掘；聚类分析方法；统计基础方法 中图分类号：TP311．13 文献标识码：A 文章编号：1007—9599(2012)05—0086—02 数据挖掘是由数据采集、数据处理、数据规则知识表达和 (二)截面数据库的挖掘 知识应用与服务等几个方面组成。其中，数据采集是基础，数 截面数据库是存放同一时间上不同个体数据指标的数据 据处理是关键，数据规则知识表达是形式，知识应用与服务是 库，包括不同省市、城市、县镇区的宏观经济指标数据库，也 目的。现实世界中的大部分数据是有污染的，任何对数据的分 包括不同企业、家庭及居民的各种行为指标数据库，反映了不 析和挖掘都是建立在或多或少的病态数据基础上的，没有好的 同个体之间的差异性及特殊性。 数据，就不可能提供可靠的规则和知识。规则往往是被大量复 通过对截面数据库的挖掘，可以发现不同个体之问呈现出 杂的数据项隐藏，有些数据是冗余的，有些数据是完全无关的， 的各种规律及量化关系，以及通过统计中的聚类分析、判别分 它们的存在有可能影响到有价值规则的发现，这必然要求我们 析，对不同个体进行分类，还可以进行孤立点分析，判别出那 在数据处理过程中把好数据关，即选择什么样的数据，如何进 些数据与数据的～般行为或模型小一致，例如可以发现信用卡 行数据清理，对选择好的数据如何处理、要进行哪些处理，只 欺诈、为骗取保险金的伪保险、交易中的违规交易等。 有过好数据关才能保证整个基于统计分析的数据挖掘工作的 (三)统计信息数据库的挖掘 顺利完成。 统计信息涵盖了国家社会、经济、科技信息的主要方面， 一 、 数据挖掘技术的概念及特征 是国家重要的基本信息资源。统计工作信息化的建设 一直‘是各 数据挖掘技术，简单地说就是从大量的数据信息中挖掘出 级统计部门工作中的重点，已经初具规模，有FoxPro为系统 有用的信息。这里大量的数据信息通常被认为是不完全的、模 的小型信息数据库，也有 oracle大型数据库管理系统，此外， 糊的、有噪音的、随机的，是完全没有加以处理的信息。而挖 还开发引进了一些通用的和专用的报表处理、统计报表排版、 掘之后呈现的就是有效的、潜在有用的、新颖的信息。这样的 统计分析等应用较件，各种统计信息资源应有尽有。同是大型 一 个变化过程，也常常被认为是数据挖掘。 企业也十分重视建立统计信息管理系统，主要用于企业内部的 数据挖掘，可以是经济信息转换的一个过程，还可以是一 统计业务处理和向上级公司和政府机关上报报表。通过对统计 门交叉的学科。数据挖掘是一门涉及面广的学科，包括机器学 信息数据库的挖掘，可以全方位掌握和了解最新的国民经济、 习、神经网络、数据库、数据统计等等，现在广泛应用于统计 社会发展、企业景气状况的动态，为政府和企业的决策服务。 界。数据挖掘作为一个信息转换的过程，其大体的步骤是：数 (四)统计普查数据库的挖掘 据准备——数据挖掘——结果分析总结。 普查是专门组织的 一次性全面调查，是全面系统地掌握国 数据挖掘的主要功能是：分类、预测模型、数据聚类、数 情国力统