基于Web服务的大数据访问性能优化研究.pdfVIP

第 24 卷 第 4 期 上海第二工业大学学报 Vol.24 No.4 2007 年 12 月 JOURNAL OF SHANGHAI SECOND POLYTECHNIC UNIVERSITY Dec. 2007 文章编号: 1001-4543(2007)04-0271-05 基于 Web 服务的大数据访问性能优化研究 1 1 2 熊小华 ，王 帅 ，宁爱兵 （1. 上海第二工业大学计算机学院，上海 201209 ； 2.上海理工大学管理学院, 上海200093 ） 摘 要： Web 服务特别适合于 Internet 下进行数据通信，已成为企业实现跨 Internet 的分布式异构系统集成和数据 共享的主流解决方案。然而，基于 XML 的 SOAP 消息会将数据膨胀而增加系统传输开销，当访问大数据时问题则 更为严重，会显著降低 Web 服务的性能。通过对 Web 服务调用模型进行分析以及结合作者实践开发经验，采用分 页检索、格式化为二进制流、透明压缩等技术并分析各种技术的适用场合，同时采用 MTOM 协议重新封装 SOAP 消息，经实践检验证明，大大提高了 Web 服务的大数据访问性能。 关键词： Web 服务；性能；性能优化；大数据；MTOM 中图分类号：TP311.5 文献标识码： A 0 引言 随着互联网软件技术及应用的迅速发展，基于Web 服务的分布式计算模式日益成为软件技术和应用发 展的趋势。Web 服务是一种全新的分布式计算模型，它的主要目标是在现有的各种异构平台的基础上建立 一个通用的、与平台和语言无关的技术层。各种异构平台上的应用依靠这个技术层来实现彼此的通信。相 对于其他分布式技术，如 DCOM ，CORBA 等，Web 服务具有如下特点： 1 ）松散耦合性：当一个Web 服 务的实现发生变更的时候，只要 Web 服务提供的接口不变，Web 服务内部发生的任何变化对 Web 服务的 调用者没有任何影响； 2 ）完好的封装性：Web 服务是一种部署在 Web 上的对象，具备对象的良好封装性， 对于使用者而言仅能看到该对象提供的功能列表及接口参数，不必也无法探究其实现细节； 3) 高度可集成 性：Web 服务技术可在任何支持 HTTP 和 SOAP 协议的平台上使用，任何支持 HTTP 和 SOAP 协议的编程 语言都可以调用和集成 Web 服务。Web 服务与语言、平台无关以及松耦合等特点使其成为跨 Internet 的分 布式异构系统的集成和数据共享的一个很好的解决方案[1-2] 。目前许多基于 Web 的分布式应用（如电子商 务、电子政务等）已将 Web 服务作为其架构的关键技术基础。 然而，基于 Web 服务的项目在系统运行初期性能还可以，而随着系统使用一段时间积累的数据量变大， 系统的性能则会显著下降；当访问的数据量较大时，甚至会因为超时而导致通信失败或者等待时间过长而 使用户不能忍受。Web 服务主要建立在 XML 基础之上，而 XML 由于自身的特点（与二进制表示相比具有 更大的报文长度、更长的解析时间）以及其他一些限制因素，造成了 Web 服务技术与其他分布式技术（如 DCOM ，CORBA，JavaRMI 等）相比，性能方面具有一定的差距。 提高 Web 服务的性能成为决定 Web 服 务能否得到进一步广泛应用的关键因素之一。目前 Web 服务性能优化，特别是大数据访问性能的优化已成 为 Web 服务技术的一个研究热点。 1 影响 Web 服务性能的因素分析 作为一种分布式计算模式，基于 XML 的标准协议和分布式是 Web 服务的两大特点。标准协议主要包 收稿日期：2007-04-16; 修回日期 : 2007-09-25 作者简介：熊小华(1978—)，女，江西南昌人，硕士，主要研究领域为数据库和面向对象。 基金项目：上海市教委基金项目资助(No.06RZ014) 272 上海第二工业大学学报 2007 年 第 4 期 括 Web 服务描述协议(Web