基于XBRL财务数据挖掘系统分析与设计.docVIP

基于XBRL财务数据挖掘系统分析与设计 　　［摘 要］ 本文从数据挖掘系统原型架构出发，结合财务数据的特点分析、财务数据挖掘的一般过程和XBRL技术，设计出一种基于XBRL的财务数据挖掘系统模型，为进一步深入研究财务数据挖掘提供了一种较好的方法。 　　［关键词］ XBRL；财务；数据挖掘 　　［中图分类号］F232；F275［文献标识码］A［文章编号］1673-0194（2008）18-0012-04 　　 　　0 引 言 　　 　　随着信息技术、网络技术和通信技术的发展，企业信息化程度越来越高，越来越多的企业应用了电子商务和ERP系统，在越来越廉价的存储设备配合下，产生了大量的财务数据。但与之相配合的数据分析和知识提取技术的发展却相对缓慢，使得存储的大量财务数据得不到充分利用，不能转化成指导生产的“知识”， 数据挖掘技术正是在这样的背景下产生并迅速兴起的。数据挖掘（Data Mining，DM）也称为数据库知识发现（Knowledge Discovery in Databases，KDD），就是将高级智能计算技术应用于大量数据中，让计算机在有人或无人指导的情况下从海量数据中发现潜在的、有用的模式（也叫知识）。数据挖掘不但能够学习已有的知识，而且能够发现未知的知识，得到的知识是“显式”的，既能为人所理解，又便于存储和应用，因此一出现就得到各方面的重视。 　　数据挖掘与传统的数据分析（如查询、报表、联机应用分析等）的本质区别是：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识的。数据挖掘所得到的信息应具有先前未知、有效和实用3个特征。先前未知的信息是指该信息是预先未曾预料到的，挖掘出的信息越是出乎意料，就可能越有价值。 　　到目前为止，大多数数据挖掘是借用人工智能的各种方法来挖掘数据中存在的知识。但是，正如人工智能本身的发展研究现状一样，数据挖掘还不能很好地理解数据中存在的知识。XML技术的出现，不仅为互联网上的电子数据交换提供了一个标准，而且XML技术从数据的角度提供了一个可以更好地表示数据内容以及数据所代表意义的手段。可扩展商业报告语言（eXtensible Business Reporting Language，XBRL）作为XML在网络财务报告语言上的应用，对财务数据的表示提供了统一的规范和标准，从而为在大量的财务数据中挖掘有用的知识和模式提供了技术基础。 　　 　　1 数据挖掘系统原型架构 　　 　　1. 1数据挖掘的一般过程 　　数据挖掘（Data Mining，DM）是从大量的、不完全的、有噪声的、模糊的和随机的数据集中识别有效的、新颖的和潜在有用的，以及最终可理解的模式的过程。数据挖掘是一种涉及面很广的技术手段，包括机器学习、数理统计、神经网络、数据库、模式识别、粗糙集和模糊数学等相关技术。 　　数据挖掘的一般过程可划分为3个阶段：数据准备（Date Preparation）、数据挖掘以及结果的解释评估（Interpretation and Evaluation），如图1所示。 　　 　　数据挖掘的一般过程具体包括7个步骤：①问题的定义；②数据集成；③数据净化；④数据抽取；⑤运行数据挖掘算法；⑥评估结果；⑦知识表达。以上步骤可以进一步归入3个阶段中：①~③为数据挖掘预处理，主要进行数据挖掘前的准备工作；④~⑤进行具体的数据挖掘；⑥~⑦则称为数据挖掘后的处理，即结果的解释评估。 　　在数据挖掘的3个阶段中，数据准备包括数据集成、数据净化和数据抽取。在数据准备阶段，首先要确定挖掘任务的操作对象，即目标数据；再对所处理的数据进行消除噪声、消除重复记录、完成数据抽取等预处理工作，然后进行降低数据维数等数据变换。在数据挖掘阶段，要确定挖掘的任务，决定采用的挖掘算法和具体的数据挖掘操作。在结果解释和评估阶段，要根据数据挖掘阶段挖掘出来的模式，经过用户或机器的评价，发现存在的冗余或无关的模式并将其剔除；判断是否满足用户要求，如果不满足用户要求，需要重新挖掘，若满足要求，将其表达出来，反馈给用户。 　　数据挖掘就是从已有的大量数据中发现数据的模式和关系，进而形成知识以供决策时使用。 　　1. 2通用数据挖掘系统原型架构 　　根据以上对数据挖掘过程的论述，现提出一个通用数据挖掘系统原型架构，如图2所示。 　　 　　系统分为用户接口模块和控制实现模块。其中，用户接口模块是用户使用的接口，通过它控制数据挖掘流程；控制实现模块主要用来完成数据处理。系统工作过程首先从用户提出的要求开始，用户选择要发现的知识模式，并输入参数，选择数据挖掘要使用的数据集；然后，系统自动选择算法进行数据挖掘；最后，系统将挖掘得到的知识经知识表示模块转换为用户能够识别的形式并表现出来。 　　在上述数据挖掘系统