论数据采集工具的现状、问题、解决方案和展望.docVIP

论数据采集工具的现状、问题、解决方案和展望 一、数据采集工具的现状和存在的问题 数据采集工具的发展经过了两代产品。 第一代数据采集工具主要是根据财务软件使用的数据库，直接拷贝财务软件数据库文件。比如：用友U811版本的软件后台数据库采用ACCESS，直接拷贝相关UFDATA.MDB文件。用友U852版本的软件后台数据库采用SQLSERVER，可以有三种采集方式：第一、通过ODBC或者OLE DB等方式直连SQLSERVER数据库，把数据下来生成第三方文件格式，比如ACCESS或者文本文件等。第二、在SQLSERVER企业管理器或者查询分析器中直接备份需要的数据库，生成SQLSERVER数据库的备份文件*.BAK，然后直接拷贝该文件。第三、直接找到SQLSERVER的物理文件*.MDF，拷贝相应的文件。这一代采集工具一般为通用型数据采集工具，比如：文件型数据查找拷贝工具、SQLSERVER采集工具、ORACLE采集工具等。这一代工具有其优点：第一、工具简练，依据常用数据库类型做相关工具；第二、采集数据比较完整，基本上是整个数据库全部照搬，属于数据库级。 但是也有明显的不足：第一，需要有相关数据库的基础知识，比如ODBC数据源配置、WINDOWS认证或者SQLSERVER混合认证方式。其次，采集的数据位全部数据，其中有很多数据没有用，如果遇到特别大的数据时，采集的时间很长，并且占用很大