论数据采集工具的现状、问题、解决方案和展望.doc

论数据采集工具的现状、问题、解决方案和展望

一、数据采集工具的现状和存在的问题

数据采集工具的发展经过了两代产品。

第一代数据采集工具主要是根据财务软件使用的数据库，直接拷贝财务软件数据库文件。比如：用友U811版本的软件后台数据库采用ACCESS，直接拷贝相关UFDATA.MDB文件。用友U852版本的软件后台数据库采用SQLSERVER，可以有三种采集方式：第一、通过ODBC或者OLEDB等方式直连SQLSERVER数据库，把数据下来生成第三方文件格式，比如ACCESS或者文本文件等。第二、在SQLSERVER企业管理器或者查询分析器中直接备份需要的数据库，生成SQLSERVER数据库的备份文件*.BAK，然后直接拷贝该文件。第三、直接找到SQLSERVER的物理文件*.MDF，拷贝相应的文件。这一代采集工具一般为通用型数据采集工具，比如：文件型数据查找拷贝工具、SQLSERVER采集工具、ORACLE采集工具等。这一代工具有其优点：第一、工具简练，依据常用数据库类型做相关工具；第二、采集数据比较完整，基本上是整个数据库全部照搬，属于数据库级。但是也有明显的不足：第一，需要有相关数据库的基础知识，比如ODBC数据源配置、WINDOWS认证或者SQLSERVER混合认证方式。其次，采集的数据位全部数据，其中有很多数据没有用，如果遇到特别大的数据时，采集的时间很长，并且占用很大的硬盘空间。第三，直接拿到的数据库备份，需要有该数据库的环境才能恢复进去，这些需要有相关数据库操作经验的人员才能掌握。第四、采集工具分散，不能集成在一起使用。因此，第一代数据采集工具在应用方面的不足，催生了第二代采数工具的产生。

第二代数据采集工具充分利用了财务软件系统本身的后台数据库资源，通过直接连接后台数据库，采集需要用到的数据表，并通过数据转换算法把数据导出到设计了固定表结构的第三方文件中。比如：使用工具采集金蝶K3数据，通过填写连接SQLSERVER数据库的参数，金蝶K3服务器IP、用户名SA、SA的密码，直接连接到金蝶K3的数据库，然后关联相关数据表t_Account、t_Balance、t_Voucher、t_VoucherEntry进行查询输出成固定结构数据kmk科目库、kmye年初数库、pzk凭证库。第二代工具有其优点：第一、以财务软件为单位，每种财务软件做一个接口，针对性强；采集工具集成度高，把各种财务软件接口都集成在一个数据采集工具上，方便维护和使用；第二、采集数据属于字段级，仅采集需要的数据表中的某些字段，采集后的数据很小；第三、直连数据方式，可以充分利用数据库环境资源，高效且省资源。然而，这种方式也有其致命的弱点：第一、字段级的数据采集，需要对财务软件数据结构非常熟悉，只要有一点问题都需要到现场重新采集数据，非常麻烦。并且如果需要一些其他的辅助字段，由于需求没有考虑周全，也需要重新采集。第二、只支持直连数据库采集，不支持备份方式采集，对于很多单位不允许直连数据库只提供备份的情况，就需要自己手动恢复数据，对使用者要求较高。第三、采集后的数据都是按照标准数据结构进行转换整理后的数据，原始表结构已经不复存在，这样的数据作为证据保留下来是有问题的，正确性无法保障。

二、针对数据采集工具之不足的解决方案

数据采集工具有以下三点原则性分歧或者不足之处：

第一、数据采集的颗粒度过大或者颗粒度过小。第一代工具强调数据库的全盘拷贝，不论所采集数据是否有用全部采集，造成取了很多没有用的数据，而且采集速度明显会降低，这种数据库级的采集方式颗粒度过大；而第二代采集工具仅采集使用到的表中的某些字段，目前没有需求的字段都不会提取，如果一旦出现表结构分析不完整或者需求的增加，都要重新到现场采集，费时费力费钱，这种字段级的采集方式颗粒度过小。

?????6、保持原始数据表结构：采集的数据保持原始数据的表结构，对于作为原始证据来说至关重要。只有和原始数据库中的表结构，包括表名称、字段名称、字段类型、字段长度这些信息一致，才可能说采集的表和原始数据表一致，才能作为副本作为证据保存。如果对表结构进行了变动或者进行了转换，那么就失去了与原始表相同的这些原子特性，就存在不一致或者可能有错误在数据中。

?????7、压缩加密的安全性：工具采集后的数据一般为文本格式，这样支持大数据存放，并且要进行压缩加密，保证采集的数据安全性。一方面文本的压缩比率较高；另一方面，单个文件的压缩加密很难被破解。即使发生了数据丢失，也打不开看不着里面的数据文件。

?????8、支持财务软件多：工具应该支持市面上至少90%的财务软件，保证应用者拿到采数工具就可以去采回数据。并且工具应该支持没有财务软件模版的通用数据库采集，只要知道财务数据库类型就可以把所有数据采集带回。