基于P2P分布式遥感影像分发系统设计.docVIP

基于P2P分布式遥感影像分发系统设计 　　摘要：随着遥感行业的发展，单一遥感数据越来越多，数据需求量也日益增大。遥感数据分发中心需要提高对外分发能力才能应对日益增长的数据分发请求。鉴于遥感数据分发中心的网络带宽有限，设计了一种基于P2P的分布式遥感影像分发方案。构建资源镜像节点，每个节点在分发过程中同时从多个资源镜像获取数据，并且分发节点也作为资源镜像为其它节点提供数据，有效缓解了中心的分发压力。同时，实现了一种监测端到端网络传输速率的分发机制，加快了当前节点的任务处理速率。 　　关键词关键词：遥感数据；P2P；资源镜像；传输速率 　　DOIDOI：10.11907/rjdk.161448 　　中图分类号：TP319文献标识码：A文章编号文章编号2016）007007403 　　0引言 　　遥感数据作为重要的信息资源，不仅需要妥善地加以保存，更需要尽可能多地向各类用户进行分发和共享，使数据活用起来，实现其更大价值。随着遥感技术的发展，遥感图像文件越来越大，各行业对遥感数据的需求量也越来越多，使得遥感数据中心对外分发数据量大增。面对大量的分发需求和中心有限的网络带宽，研究如何快速高效地对外分发数据变得越来越迫切。 　　鉴于遥感单一影像文件大、总体数据海量的特点，针对如何保证遥感数据分发系统能有序、规范、高效地为各行业用户提供共享数据问题，沈夏炯、张振鹏实现了一种基于单队列控制模式的分发方式。遥感数据集中存储在数据分发中心，由数据分发中心的数据库管理系统负责对其进行统一整理、存储和统计，所有的分发请求按先后次序排队处理。此时，网络带宽压力主要集中在数据分发中心，在老分发请求未处理完的情况下新请求将会处于挂起状态，随着分发请求的增多，积压的分发量也越来越大。 　　针对数据分发量越来越大而分发效率逐渐降低的弊端，结合现有系统架构，本文基于P2P技术构建资源镜像节点，实现了一种基于P2P的分布式遥感影像分发方案，提出并实现了一种监测端到端网络传输速率的分发机制。 　　1分布式遥感影像分发方案 　　1.1分发结构改进 　　遥感影像数据与诸如视频、音频、安装包等常用且重复率高的数据不同，如果构建P2P共享网络，则使用频率高的资源会在共享网络中大面积覆盖。由于需要遥感数据的用户存在行业、地区差异，因而同一个遥感数据一般只被一个终端下载。如果采用多个终端（BT客户端）之间共享策略，数据的实际共享率实际上并不高，最后数据仍需从分发中心获取。 　　鉴于上述原因，本文采用混合式对等网络＼[23＼]的思想设计由中心管控节点管理和记录索引信息，各分发节点存储资源数据的分布式遥感影像分发架构。预先将已有的一部分遥感数据分散地存储到各分发节点，分发节点也作为资源节点，同时也为其它分发节点提供资源，形成一个大的资源共享网络，如图1所示。 　　改进后，每个资源节点都是中心节点的镜像或是部分镜像，新的分发请求可以将压力分散到不同的分发节点上，以缓解中心节点的一部分压力。当中心节点生产出新数据时，在任务空闲时选择当前网络状况最好的分发子节点传输新数据，逐步将新数据分散出去。这样新数据请求在各分散节点的命中率会更高，总体分发效率也会更好。 　　1.2中心节点数据索引 　　中心管控节点负责存储各子节点资源索引，当没有子节点存有所需数据时，则中心节点还需要作为唯一的分发节点将数据分发到其它节点。分发中心存有数据的元数据信息即索引信息，包括数据名、数据所在节点服务器地址、数据大小等元数据信息。 　　1.3数据分块及传输机制 　　为了从不同节点上获取同一数据资源，需要将整个资源文件进行分片，下载节点从不同的资源节点获取不同位置的数据片，最后合并成完整的文件。每个分发节点设计数据获取网络接口： 　　输入：给定文件名和起始字节数以及需要字节数。 　　输出：资源的相应部分加密后的字节流。 　　下载方通过调用WebService网络接口的方式从数据提供方获取所需要的数据片段。下载节点先根据资源碎片号和分片大小确定需要获取文件的起始文件位置和终止文件位置，从数据资源节点获取加密过的文件碎片信息，接收成功后解密写入碎片文件。全部接收完成后将所有碎片文件合并为原始的资源文件。传输过程如图2所示。 　　2.1网络传输速率检测 　　由于不同分发节点部署的地理位置以及接入的ISP（网络提供商）不同，因而网络带宽一般有所差异，它们的分发能力也不一样。还有一些节点ISP分配的带宽很高，但其所处的网络环境导致实际可用带宽并没有那么稳定。因此，在分配分发任务时检测当前节点和配对节点当前端到端的可用带宽很有必要。为了保证总体分发效率最高，系统根据分发任务处理过程中检测端到端可用带宽并根据当前传输速率动态调整分发任务，让系统整体网络利用率更高