p2p网络分布式文件系统中的分片调度机制.docxVIP

p2p网络分布式文件系统中的分片调度机制 随着日益增多的面向媒体应用需求，基于之前的单发布传输方式的传统做法很容易导致服务器性能的瓶颈，也无法有效支持大规模数据的分发。电子科技大学自主研发了一种基于分布式并行系统的媒体分发技术的应用——透明下载系统,该系统融合了P2P技术和C/S技术的优点,可以在网络带宽效率、延时和可靠性三者之间做出更好的权衡。通过C/S的方式组织节点而通过P2P的方式分发数据,其主要特点为:1)易于实现,节点通过服务器集中管理,也不需要部署复杂的P2P通讯协议;2)良好的健壮性,节点不依赖于任何其他特定的节点;3)较高的扩展性,通过P2P的方式分发数据,用户越多,分发越快。 本系统所使用的分布式并行系统区别于现有的P2P系统和互联网内容发布网络(Content Delivery Networks,CDN)系统,具有新的结构和特点。系统具有不分大小,不分高低,无中心结构,就近为用户提供服务的特性,采用分布式并行的操作系统和分布式并行的数据库。 1 数据库文件下载功能 透明下载系统使用的分布式并行系统由分布式并行的操作系统和分布式并行的数据库系统组成。主要负责服务的调度和文件资源的调度。其中,分布式并行的数据库系统除了为用户提供强大的数据服务功能以外,还负责存储分布式并行系统中的一些服务资源。分布式并行的操作系统的主要特点是其分布式的文件系统,能够自适应的在整个系统内调度文件资源,并且根据文件资源的访问情况和机器的负载情况平衡系统内的负载。 在透明下载系统中,分布式并行的数据库用来存放系统中的资源和服务,分布式并行的文件系统用来存放系统内点播或文件下载功能需要的文件资源。透明下载程序通过分布式并行系统的调度接口,就近获得其所需要的资源和服务。 2 透明下载系统的站域和分布式行业站 为了实现节点之间的可见性,需要将每个节点的资源信息注册到分布式并行系统的数据库中。由于网络中大量节点的存在和资源的丰富性,需要存储大量的资源和服务描述信息。透明下载系统使用的分布式并行系统采用分布式哈希算法(Distributed Hashing Table,DHT)存放服务器节点的描述信息,将信息存放在本站内和根据算法得出的站上。而对于本站内的信息则只是分布存放在本站内。这里分布式并行系统的站的含义是数据库完全一致的同一个区域内的多个主机组成的一个服务节点。 透明下载系统中有服务器端和客户端的概念:服务器端的主要责任是提供自己拥有的资源和尽快的进行资源的调度;客户端的主要责任是为客户提供尽可能好的服务,比如满足用户的点播、组播的需求,提供尽可能好的播放质量。服务器端信息的注册在分布式并行系统中注册为服务器信息,会分布存放在不同的站内,这样在某个站没有所需要的资源时,可以通过DHT算法获得有这个服务信息的站,从而获得真正有所需服务的节点。客户端的信息在本站内注册,也就是说某个站内的客户端对其他站内的客户端是不可见的。这样是为了尽可能地保证在一个局部范围内提供服务,本站内没有的资源通过服务器调度到本站来。 资源请求时,客户端会请求在本站内有这个资源的服务节点,从获得的服务节点上下载资源。如果本站内的所有服务器和客户机上都没有这个资源,则只有让本站内提供透明下载服务的服务器从别的站调度资源。请求资源的原则是:服务器端从邻站请求资源,客户端从本站内服务节点请求资源,尽量从距离近、速度快的节点请求资源。 3 透明下载系统结构 3.1 数据库s1 透明下载系统实现了点播、文件下载和应用层组播的功能。这个系统的物理部署如图1。系统由三个站S1,S2,S3组成,站内的数据库完全一致,数据库的数据和每个站之间的服务器信息分布存储。每个站内有若干客户机,客户机只访问本站内的资源,本站内没有的资源,要通过本站内的服务器从别的站调度过来。比如S1-C1代表站S1内的客户机,S1-C1要访问的某个资源如果本站内没有,则会通过S1从S2或S3调度过来。 3.2 数据互传模块 系统从逻辑上主要由六个模块组成:轮播模块、数据源模块、数据互传模块、播放器、文件下载客户端和资源调度模块。系统逻辑结构如图2。 数据源模块和轮播模块为透明下载组播功能所特有,轮播模块实现对MP4文件的IP层实时组播功能,负责生成相应的会话描述协议(Session Description Protocal,SDP)文件和发出RTP数据流。SDP用来描述组播地址、端口和文件的格式信息,在接收组播数据和播放器初始化时使用。数据源模块则接收轮播的各个频道的RTP包并对其进行封片,然后将分片数据发送给数据互传模块。数据互传模块用来在各个主机之间传输数据,从邻接节点下载自己需要的数据和供别的节点下载数据。因为数据互传模块之间采用IP地址建立连接并传输分片数据,所以这样就实现了IP层组播到应用层组播的