论数据采集工具的现状问题解决专项方案和展望.docVIP

论数据采集工具现实状况、问题、处理方案和展望

一、数据采集工具现实状况和存在问题

数据采集工具发展经过了两代产品。

第一代数据采集工具关键是依据财务软件使用数据库，直接拷贝财务软件数据库文件。比如：用友U811版本软件后台数据库采取ACCESS，直接拷贝相关UFDATA.MDB文件。用友U852版本软件后台数据库采取SQLSERVER，能够有三种采集方法：第一、经过ODBC或OLEDB等方法直连SQLSERVER数据库，把数据下来生成第三方文件格式，比如ACCESS或文本文件等。第二、在SQLSERVER企业管理器或查询分析器中直接备份需要数据库，生成SQLSERVER数据库备份文件*.BAK，然后直接拷贝该文件。第三、直接找到SQLSERVER物理文件*.MDF，拷贝对应文件。这一代采集工具通常为通用型数据采集工具，比如：文件型数据查找拷贝工具、SQLSERVER采集工具、ORACLE采集工具等。这一代工含有其优点：第一、工具简练，依据常见数据库类型做相关工具；第二、采集数据比较完整，基础上是整个数据库全部照搬，属于数据库级。不过也有显著不足：第一，需要有相关数据库基础知识，比如ODBC数据源配置、WINDOWS认证或SQLSERVER混合认证方法。其次，采集数据位全部数据，其中有很多数据没有用，假如碰到尤其大数据时，采集时间很长，而且占用很大硬盘空间。第三，直接拿到数据库备份，需要有该数据库环境才能恢复进去，这些需要有相关数据库操作经验人员才能掌握。第四、采集工具分散，不能集成在一起使用。所以，第一代数据采集工具在应用方面不足，催生了第二代采数工具产生。

第二代数据采集工具充足利用了财务软件系统本身后台数据库资源，经过直接连接后台数据库，采集需要用到数据表，并经过数据转换算法把数据导出到设计了固定表结构第三方文件中。比如：使用工具采集金蝶K3数据，经过填写连接SQLSERVER数据库参数，金蝶K3服务器IP、用户名SA、SA密码，直接连接到金蝶K3数据库，然后关联相关数据表t_Account、t_Balance、t_Voucher、t_VoucherEntry进行查询输出成固定结构数据kmk科目库、kmye年初数库、pzk凭证库。第二代工含有其优点：第一、以财务软件为单位，每种财务软件做一个接口，针对性强；采集工具集成度高，把多种财务软件接口全部集成在一个数据采集工具上，方便维护和使用；第二、采集数据属于字段级，仅采集需要数据表中一些字段，采集后数据很小；第三、直连数据方法，能够充足利用数据库环境资源，高效且省资源。然而，这种方法也有其致命弱点：第一、字段级数据采集，需要对财务软件数据结构很熟悉，只要有一点问题全部需要到现场重新采集数据，很麻烦。而且假如需要部分其它辅助字段，因为需求没有考虑周全，也需要重新采集。第二、只支持直连数据库采集，不支持备份方法采集，对于很多单位不许可直连数据库只提供备份情况，就需要自己手动恢复数据，对使用者要求较高。第三、采集后数据全部是根据标准数据结构进行转换整理后数据，原始表结构已经不复存在，这么数据作为证据保留下来是有问题，正确性无法保障。

二、针对数据采集工具之不足处理方案

数据采集工含有以下三点标准性分歧或不足之处：

第一、数据采集颗粒度过大或颗粒度过小。第一代工具强调数据库全盘拷贝，不管所采集数据是否有用全部采集，造成取了很多没有用数据，而且采集速度显著会降低，这种数据库级采集方法颗粒度过大；而第二代采集工具仅采集使用到表中一些字段，现在没有需求字段全部不会提取，假如一旦出现表结构分析不完整或需求增加，全部要重新到现场采集，费时费力费钱，这种字段级采集方法颗粒度过小。

第二、数据采集接口是根据数据库类型组织还是根据财务软件类别组织。第一代工具根据数据库多个类型来组织采数接口，缺点就是需要一定数据库基础知识，上手不轻易。第二代采集工具根据财务软件类别组织，缺点就是财务软件很多，需要对每种财务软件结构了解透彻，比较费功夫，一旦分析有误轻易采集数据不全。

第三、采集后数据是整个数据库备份还是需要经过转换后数据。第一代工具强调采集整个数据库，而且采集数据不做任何变动，保持原貌，缺点是数据过大，不好处理。第二代工具在采集同时做了数据转换操作，已经改变了原有数据库结构，缺点是结构发生改变，不能作为原始证据。

针对以上三点标准性分歧或不足之处所提出处理方案：

1、选择适中采集粒度，即数据表级采集。采集我们可能用到数据表，字段不做筛选，整张表全部采集，表中统计经过where条件做过滤。这么既能够避免采集无用数据，又能够确保表结构完整性，立即需求扩展到同一张表其它字段也不用重新采集。

2、综合财务软件类别和数据库类型自组织采集接口。现有多种财务软件单独接口，也有多个数据库通用采集接口，将万