数据采集系统中自动入库设计工具研究和实现.pdfVIP

数据采集系统中自动入库设计工具的研究与实现 徐鹏孙元 清华大学计算机系 E-Mail：xp{s硼y)@kcg．cs．协ingIluedu．cn ■叠：在基于web的数据采集杀统中，被处理的数据量较大；同时被采集的数据格式经常 需要改变．因此采用传统曲方式针对每个版本的秉统设计各自的教据入库程序往往开销较 大，同耐开发周期长．园此有必要为系统提供一个可视化的开发工具．使得用户可咀定制 采集秉统中的数据模型与数据库中救据城的对应关系，系统根据用户的设定自动完成入库 操作．本文将针对此需要提出相应的解决方案． 关蕾字：JDBc，鼓据字典，组合对应关系 在基于乳b的数据采集和在线发布系统中，定期报告数据自动入库系统主要是针对在应 用服务器接收到用户提交的最终定期报告数据之后，将上市公司数据分类提取并写入信息中 心数据库这一操作而言的。自动入库系统可以与定期报告数据采集系统配合使用，即在通过 网络将用户报告数据写A证交所上市部数据库的同时，将其中用于对外发布的数据信息根据 证交所信息中心数据库的信息模型，由定期报告数据自动入库系统将其写入信息中心数据 库．在入库操作的同时。可以根据信息中心的需求，对部分数据进行相应的统计处理，产生 统计信息井写入数据库；这样就可以减少信息中心工作人员的工作量．提高工作效率。 一．基于W曲的数据采集和在线发布系统中的JDBC 本系统是完全使用Java语言来编写的，因此选用了使用JDBC来访问数据库。这样既充 分利用了Java语言的特点，又保证了其他部分与敷据库的相对独立性。 库．象数据入库系统这样的应用程序是运行在服务器上的。不与客户方发生直接关系，它通 过J明c直接访问数据库．不需要通过其他层次。而象浏览器助手这样的AppIet要查询修改 数据库时．是通过服务器上的一个J8va应用程序来完成的。本系统中无论是基于浏览器的数 据采集系统．还是基于浏览器的数据查询系统，均没有采用Applet直接访问数据库的方法是 因为Applet由于受到安全性的限制，只能与所下载的服务器建立联接．因此只能访问服务器 Application 上的数据库．而本系统的数据库可能与胛w服务器不在同一台计算机。使用Java 作为Applet访问数据库的中间层，也可以提高访问效率，例如始终与数据库保持联接，而不 是每次访问都重新建立联接。还可以对Applet发送的请求进行组织、过滤后．再访问数据库。 Applet和中间层的Application之间使用TcP协议进行通讯。 本系统使用JDBC访问数据库的一般程序流程如下： 1)加载数据库的JDBc驱动程序； 2) 建立与数据库的联接： 3) 创建Statement对象； 4) 在Statement对象上执行SQL语句，返回Resultset对象： 5) 对ResultSet对象进行处理，得到查询结果； 6) 关闭与数据库的联接。 作为中间层的JavaApplication的流程如下： 1) 加载数据库的JDBc驱动程序： 2) 建立与数据库的联接； 3) 在某个端口上进行监听，等待Applet的联接； 4) 与Applet建立联接后．接收ADplet的请求； 5) 对请求进行组织和过滤，形成SQL语句； 6) 创建Statement对象； 7) 在Statement对象上执行SQL语句，返回ResultSet对象； 8) 对Re鲫ltSet对象进行处理，得到查询结果{ 9)将查询结果返回给Applet； 10)断开与^pDlet的联接，回到4)重新监听． 实际上，接收Applet的请求，访问数据库和返回结果是由一个单独的线程来完成的．而 主线程继续回到监听状态．这样一个Applic8tion可以同时为多个ApDlet服务。 二．数据自动入库工具的设计 E图ll数据库入库流程 在上海证券所年报系统中，系统针对数据入库操作的设置包括源数据库设定、数据入库 操作设置以及源数据与数据库对应关系设置。 谭数据设定用于与给定的数据库进行联接，井获得数据库中有关表结构的相关信息以供