基于大数据Web服务传输方案构建与实现.docVIP

基于大数据Web服务传输方案构建与实现 　　【摘要】 Web服务属于普通常用的面向对象服务架构方式，但Web服务在面向对象架构实现的网络中，仍然存在大数据网络传输效率低下的问题。如可能够有效提高大数据在网络中的传输速率，使其可以迅速响应客户端发来的大数据信息请求，增强网络用户的体验感，是研究Web服务传输方案的根本问题。本文在分析了Web服务在网络中的传输原理基础上，提出了基于取模分类和多线程的大数据Web服务传输方案，在提高大数据传输速率的同时，增强了网络用户的体验感。 　　【关键词】 大数据 Web服务 Web传输 　　随着现代社会信息化建设的进步，各种网络应用程序已经普遍应用于各领域中，网络软件越来越多，包括互联网子邮件系统、数据搜索引擎系统、文件信息上下载系统等，使网络需要在同一时间内处理的数据量越来越多，面临着海量数据传输效率低下的问题。 　　一、Web服务概念 　　Web服务是一种新型的网络应用程序，也是一种模块化的网络应用，Web服务能够处理简单的网络请求，也可以处理逻辑结构复杂的网络应用，其有强大的数据处理功能。当Web服务部署完成之后，其他网络应用程序则可以随时调用其部署的功能性服务。 　　SOA指的是一种应用于跨网络平台和网络驱动业务的架构模型，SOA架构模型可以按照实际需求利用分布式部署、组合部署等模式对松散耦合的粗粒度组件进行部署，其服务层是整体架构模型的基础部分，可以被网络应用程序直接调用，对网络系统中存在的交互依赖性进行控制。SOA架构模型具有以下几点优势：（1）编码灵活度较高，可以利用不同的组合方式创建基于模块化服务，充分体现了SOA架构模型编码的灵活性。而且，由于网络服务用户不会直接对服务提供者进行访问，因此，这种网络服务的本身也具有较高的灵活性。（2）明确每个开发工作人员的任务角色，例如，负责客户端编程的应用程序开发工作人员只需要考虑界面设计层，不需要掌握数据层的逻辑转换模式，重点解决具有重大价值的数据业务。（3）能够支持多种客户类型，SOA架构模型利用服务接口，以及对Web服务标准的支持，能实现对多种客户类型的数据处理业务，包括智能手机、平板电脑等网络访问。（4）SOA架构模型便于后期维护，其采用的开放性标准协议，以及提供的松散耦合关系，可以有效保证后期维护简单便捷。（5）具有良好的伸缩性和可用性，网络服务的提供者相互独立，可以在集群环境中进行灵活部署。 　　二、基于大数据的Web服务传输方案的构建 　　在现有的大数据Web服务传输方案中，应该尽量选择一次性的调用解决方式，如果期望得到快速的大数据处理请求，可以采用一次调用、多次返回的解决方式，将一个返回数据分解成为多个轻量返回数据，从而使返回数据处理更加方便灵活，以此实现快速返回第一次调用数据的实际需求。但是，想要在大数据Web服务传输方案中采用多次返回数据的解决方式，必须采用多线程技术。 　　如何将多线程技术应用于Web服务传输中，必须综合考虑多线程技术的特性，将一个任务分割成为多个任务。通常情况下，一个任务的最终目标是十分明确的，就是使用户获得请求的全部数据。当应用多线程技术后，需要给每个线程分配各自的任务，使每个线程都可以获得指定数据，由此，提出取模分类的方法，将任务分配给多个线程。 　　取模分类方法指的是根据用户发出的请求建立索引值，经过取模运算后可以将全部数据按照取模运算后得到的余数进行分类，此时，每个线程都可以查询到与其对应的分类数据，由此，一个数据查询任务被分割成为多个轻量数据查询任务，获得的第一个返回数据的时间是最快的响应时间。 　　随着网络技术的普及应用，网络承载的数据量越来越多，传统的数据库系统已经不能满足目前网络海量数据处理的实际需求，造成了网络数据传输效率低下。取模分类和多线程技术应用于Web服务传输方案中，可以有效提高海量数据传输效率，增强网络系统的可扩展性。 　　三、基于取模分类和多线程的Web服务传输方案的实现 　　3.1 取模分类方法 　　取模运算经常应用于程序设计中，设定一个整数P和任意一个整数N，存在N=KP+R，其中，K和R均为整数，0≤R　　对于整数P，a，b来说，将其取模运算定义为a mod P，以a除以P的余数。在取模运算的基础上，将一个整数集合A={1，2，3，4，5，6}的模值设定为3，对集合中的每个整数进行取模运算，分别得到0，1，2三个余数，再按照余数将集合A分成三个类型，{A1，A4}mod 3=1；{A2，A5}mod 3=2和{A3，A6}mod 3=0。 　　同理可得，对于任意整数集合Z来说，都可以为其设置一个模值n（n∈N），由此，将集合Z进行取模运算之后，可以按照余数分成n个子集合Zi（i∈N）。 　　3.2 多线程技术 　　当客户端发出请求处理大量数据时，会造成数据库系统的