《云存储数据处理分发系统开发与转化技术总结报告》.docxVIP

云存储数据处理分发系统开发与转化技术总结报告一、项目立项背景及必要性1.1政策背景：十二五规划中提出了我国教育产业与信息化产业相结合的指示方针，要求全国院校切实做好教育产业《云计算服务创新发展试点示范》的工作，实现国以才立，政以才治，业以才兴的人才培养与创新教育理念。本项目充分发挥信息化产业快捷、高效、实用性强的特征，与高校合作研究开发构建面向全国的云存储服务平台，为社会与企业提供符合国际化要求、适应国内企业需求的行业高端管理与技术人才，为教育产业注入转型的动力。环境背景：互联网公司面临更大的速度和成本挑战速度太慢成本太高电信、网通的南北互联瓶颈—只有中国才有的现象设备网络前期投入巨大教育网、移动、联通、铁通的对等互联瓶颈访问高峰期的额外容量建设国际带宽互联瓶颈IT人员招聘，培训，管理滥用P2P造成网络拥堵高价的带宽成本流氓软件造成资源占用机房建设、电力损耗、环保成本居高不下1、跨ISP运营商互联互通受限所谓互联互通，就是指几个不同ISP网络的网间互联。由于电信运营商业务间激烈竞争，相互之间不能很好的协作，所以骨干网之间没能联通，互相之间的网络资源就不能得以很好的利用。由于这些原因，网间连接带宽相对狭窄，远远不能支持庞大的用户访问，导致网络间传输拥挤，传输速度很慢。用户与网站如果不在同一个ISP网络，则不可避免的要受到网络间带宽限制，甚至无法相互访问。2、重复投资，不易维护对于目前的电信运营商各自独立的网络结构，ISP、ICP如果想满足到多个运营商的链路都很好的话，需要在网通、电信等多个运营商处建立多份站点，维护多套WEB、下载服务器、数据库等设备，导致重复投资而且后期需要维护多套环境，及其痛苦。3、安全保障低黑客可以通过直接攻击源站服务器的IP地址，使网站设备及网络带宽负载过高，服务质量降低，直至服务器宕机，甚至篡改网站内容，使源站点蒙受不可预计的损失。4、效率低下随着宽带用户的逐渐增多，通过网络下载影音文件、游戏安装包、软件及补丁等内容的方式变得越来越普遍，并且地域分布更加广泛，单一的下载服务器已不能满足各地域、各ISP用户的访问需求。如果希望满足更多的用户访问，就需要为用户建设更多节点和购买更多的设备和带宽，导致投资大而效率低，同时也不适应互联网应用的多变性，从而抑制了网站整体的业务发展。必要性：仔细分析网络速度缓慢的原因，带宽不是导致互联网连接速度慢的唯一因素，如果没有良好的流量管理策略，网站不管有多大的带宽，用户对网站的访问连接同样会慢如蜗牛。同时，日益扩大的服务器数量、越来越多的访问流量，都要求网站对互联网流量进行精心规划和管理。除此而外，随着电子商务的迅猛发展，使得网络系统的可靠性、一致性、安全性和高可用性也显得越来越重要。ISP、ICP、高校、大型企业等，正在经历着高昂的互联网带宽成本、机房设备重复投资成本、用户P2P下载和在线视频业务的巨大压力、用户投诉网络速度和质量差等头疼问题。因此，当前网站的管理除了必要的内容服务外，提高网站的扩展能力、服务能力以及可用性也成了不可或缺的环节，而要很好地解决所有这些问题，必须要有新技术的支持。分布式云存储和数据处理智能分发正是解决此类问题的有效手段，云存储数据处理分发系统应求而生。1.2、国内外与该项目有关的研究进展和取得的成果：云存储是在云计算(Cloud Computing)概念上延伸和发展出来的一个新的概念。云计算使更大数据量的处理成为可能，被称为下一代的因特网计算和下一代的数据中心。云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。目前的云存储服务主要应用于ISP、ICP、门户网站、电子商务、大中型公司、网络教学、证券、金融保险、ISP 等领域，在行业专网、互联网中都可以用到，甚至可以对局域网进行网络优化。利用云存储服务，这些网站无需投资昂贵的各类服务器、设立分站点，特别是流媒体信息的广泛应用、远程教学课件等消耗带宽资源多的媒体信息，通过云存储技术动态、可伸缩、虚拟化的新型服务模式，使内容请求点和交付点之间的距离缩至最小，从而促进Web 站点性能的提高，具有重要的意义。云存储服务能够为网络的快速、安全、稳定、可扩展等方面提供保障。为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副