基于P2P的分布式遥感影像分发系统设计.pdf

第 7期 杜佳恒 ，王 栋，赵亚萌，等：基于P2P的分布式遥感影像分发系统设计 ．75 · 上，以缓解 中心节点的一部分压力。当中心节点生产出新 到端的可用带宽很有必要。为了保证总体分发效率最高， 数据时，在任务空闲时选择当前网络状况最好的分发子节 系统根据分发任务处理过程 中检测端到端可用带宽并根 点传输新数据，逐步将新数据分散出去。这样新数据请求 据当前传输速率动态调整分发任务，让系统整体网络利用 在各分散节点的命 中率会更高，总体分发效率也会更好 。 率更高 。 1．2 中心节点数据索引 2．2 中心调度 中心管控节点负责存储各子节点资源索引，当没有子 中心节点在单队列控制模式的分发调度口基础上 ，在 节点存有所需数据时，则中心节点还需要作为唯一的分发 其分发任务处于空闲的情况下，执行新数据推送任务。推 节点将数据分发到其它节点。分发中心存有数据的元数 送任务选择传输速率最高而又需要存储新镜像的节点 ，对 据信息即索引信息 ，包括数据名、数据所在节点服务器地 其推送最新数据。 址、数据大小等元数据信息。 具体调度流程如下：①检测中心节点控制队列是否有 1．3 数据分块及传输机制 分发任务，如有则等待，没有则转②；②中心节点各分发节 为了从不同节点上获取同一数据资源，需要将整个资 点发送数据包，根据响应时间确定网络传输速率，选择速 源文件进行分片，下载节点从不同的资源节点获取不同位 率最优的节点 ；③查询所选择的节点，看中心索引是否将 置的数据片，最后合并成完整的文件 。每个分发节点 近一个月的数据全部存储完毕，有则选取速率次之的节点 设计数据获取网络接 口： 继续③；④选择最新的一景数据推送到所选择的节点，推 输入 ：给定文件名和起始字节数以及需要字节数 。 送完毕后继续① 。 输 出：资源的相应部分加密后的字节流 。 下载方通过调用 WebService网络接 口的方式从数据 提供方获取所需要的数据片段。下载节点先根据资源碎 片号和分片大小确定需要获取文件 的起始文件位置和终 止文件位置，从数据资源节点获取加密过的文件碎片信 息，接收成功后解密写入碎片文件 。全部接收完成后将所 有碎片文件合并为原始的资源文件 。传输过程如图 2所 示 。 圈 3 新数擐推送任务 2．3 分发节点调度 分发节点接到用户下载请求后，如果 自身节点没有所 需要 的资源 ，则查询 中心索引得到存有该资源 的其它节点 信息 ，然后开启多个线程从不同节点主动拉取，并根据耗 时动态调整线程数，让更多线程从速率快的节点下载。 步骤 1：资源获取节点查询中心索引信息，确定资源 基本信息和资源分布情况。假设资源大小为 S，每块大小 为 s，可提供资源节点数为 ，可 以提供资源的节点为 N 、 Nz… …N 。 图 2 分发过程