基于Web方式海量数据上传与导入的解决方案.pdfVIP

第 17卷第2期 长沙民政职业技术学院学报 Vo1．17 No．2 2010年6月 Journal ofChanzshaSocialWork ( JulL2Ol0 基于Web方式海量数据上传与导入 的解决方案 谢英辉 邓子云 (1．长沙民政职业技术学院，湖南 长沙 410004；2．湖南现代物流职业技术学院，湖南 长沙 410131) [摘 要] 作者在文中介绍了传统方法在解决海量数据从客户端导人到服务器数据库时的具体问题，提出了新的解 决方案，即先利用Apache公司的文件上传组件把文件上传到服务器的临时 目录，然后创建扩展名为 “．cd”的控制文 件，再利用 java语言的shell指令和线程来执行控制文件、进行数据导人，很好地解决了利用Web来实现大容量数据 的导入问题，具有很高的研究和应用价值。 [关键词】 海量数据；企业信息化；解决方案；shell指令；线程 [中图分类号] TP392 [文章标识码] A [文章编号] 1671—5136 (2010)02—0126—04 随着计算机硬件、软件的迅速发展，个人计算机逐 中去，目前一般企业有两种解决方法，这两种方法都存 渐进入普通家庭，社会信息化程度有了大幅度的提高， 在一定问题和局限性 ： 资源共享也成了企业必须关注的重点。Intemet互联 方法一是通过采用Web操作来完成，这种方法很 网作用和潜力无限，目前企业信息共享也主要是基于 方便，对于时间、地域和操作人员技术要求不高，它主 Intemet来进行的，许多公司和企业 以及各政府、事业 要是通过直接把文件信息内容通过内存变量读人 内存 单位都建立了自己的f-jp网站，及基于web的企业信 中，然后再把内存变量里的数据取出导人数据库，但这 息化办公系统，这些网站上一般都有大量的可供其它 种方法只能解决小容量数据 的导入 问题，在导人海量 企业利用的共享资源 ，其 中就有很多的大容量共享信 数据时就会 出现内存溢出问题。 息，并且容量会随着信息化普及程度的提高而增大，而 方法二是数据库管理员直接启动服务器，利用程 目前的一些鳃决方案都存在着内存溢出、时间、地域和 序命令和手动操作以及相关辅助工具进行数据导入， 操作人员的高技术要求的问题，使得企业无法高效地 该种方法很适合海量数据 的导人，但对于操作员的专 利用和处理这些大容量信息，该问题也成了阻碍企业 业技术要求很高，并且只能在服务器上操作，而且因为 信息化提高的一个重要问题，为了高效利用这些信息， 导入数据时间较长，中间不能出现导演中断，否则会造 打破 目前方法的时间、地域和操作人员技术要求的局 成数据不完整，存在着时间、地域和专业技术要求高的 限性，新的解决方案的提出和研究就显得尤为重要。 局限性。 目前这两种方法都存在问题和局限性，严重阻碍 1．目前高效利用海量共享数据普遍存在的问题 各行各业的信息化建设，成了社会信息化建设的一个 目前社会信息化程度在不断提高，但离普及各行 严重的问题 。 各业还有相当大的距离，为了满足人们对高生活质量 2．用WEB方法导入大容量数据的必要性 的需求，信息化将普及到我们生活的每个角落，同时信 息化的普及也必将给我们的生活带来质的提高。为了 随着社会信息化程度的不断提高，资源数据的共 提高工作效率，企业或个人一般会想尽办法尽可能地 享会越来越普遍，容量也会越来越大，为了提高大容量 利用共享资料，而有很