基于HDFS分布式存储中负载均衡技术探析.docVIP

基于HDFS分布式存储中负载均衡技术探析 　　摘要：随着在线教育模式的发展，不管是用户规模还是视频资源量都有了很大的提升，这就要求对存储与系统整体性能进行进一步提升与优化。在数据存储以及用户反馈过程中，分布式技术具有较高的应用价值，其中负载均衡算法则对系统性能有着关键影响。鉴于此，该文对HDFS与负载均衡技术进行简单介绍，并围绕基于HDFS的分布式存储系统设计实现及负载均衡技术进行研究，希望能够为该项技术领域的发展提供一点理论支持。 　　关键词：分布式存储；HDFS；负载均衡；资源调度 　　中图分类号：TP3 文献标识码：A 文章编号：1009-3044（2017）33-0004-03 　　1 HDFS与负载均衡技术概述 　　1.1 HDFS介绍 　　在海量大文件的存储中，HDFS的可靠性与高效性特点非常突出。对于系统文件而言，所有数据资源在系统中的存储模式都是以Block为基础，在大部分情况下，人们会按照64MB来设置Block的容量，其中，有一个名为复制因子的元素对于资源副本数目起到决定性作用。根据资源文件副本数的不同，HDFS会按照不同的存储机制对其进行处理，资源文件的存储也是以副本数目为依据而实现的，从中可以获取冗余备份，同时基于HDFS，POSIX的要求也被放宽，如此一来，在文件系统数据的访问中就可以对流的形式加以运用。关于HDFS的基本特征，主要可以涉及五个方面，具体阐述如下： 　　第一，HDFS大数据的分布存储方面具有强大功能。HDFS的扩展能力非常突出，并且可以按照分布式存储形式为大数据存储提供支持，对于不同的数据节点的文件系统，HDFS都可以对其加以利用，进而使一个具有教导容量的存储系统得以形成。与此同时，在集群中数据节点与总容量成正比例关系。基于此特点，HDFS在存储方面能够给予不断增长的视频资源提供强有力的支持。 　　第二，并发访问能力突出。从诸多节点同步进行对外服务的提供也是HDFS的特点之一，因此，用户在相关数据的访问过程中，系统维持的带宽是比较高的，在本身特性的基础上，集群中的节点的数据访问能力基本都具有最高带宽。 　　第三，容错能力强大。在设计HDFS时，出于其对运行环境的要求，需要考虑机器运行的故障问题。因此，HDFS最初的运行能力就是能够适应错误率较高的机器，一旦出现错误，那么就可以进行及时检测，同时对系统进行快速回复，使数据资源得到保护，进而提高数据资源的安全性。 　　第四，顺序式文件访问。在批量处理资源的过程中，大部分情况下都要按照顺序对数据资源进行处理。因此，为了将HDFS这一特点体现出来，同时实现其大数据访问的高效性充分发挥，在这一方面，HDFS也得到了相应的优化，自身在按照顺序读取数据时具有较高效率。 　　第五，流式访问。在文件系统中，数据在节点传输中会按照流的形式进行，如此可以提高系统资源读取速度，而这与视频文件简单上传多次访问的特点相契合。 　　1.2 负载均衡技术相关研究 　　在计算机集群不断发展的背景下，负载均衡由此也得到发展，在集群系统中，这一技术部分占据着重要地位，并且影响着集群系统的整体性能。而在云计算应用不断成熟的背景下，云计算技术用户规模的庞大以及制定灵活的特点使管理工作迎来了巨大挑战。针对此，我们必须以实际需求为导向，对负载均衡技术及策略进行合理选择，如此才能够使云计算的性能得到改善。负载均衡技术的特点在于高效、透明，在系统中对该项技术加以运用，可以使系统的灵活性得到强化，同时也能够实现其整体性能的改善，对于发挥资源优势而言有着积极意义。关于负载均衡的意义，主要可以涉及两个方面：一方面，负载均衡能够在不同?点进行并发访问，或者进行大量数据的平均分配，对用户请求进行分开处理，进而实现响应时间与资源利用的改进；另一方面，均衡负载可以向多个处理节点发送对资源需求较大的服务并进行处理，最后对处理结果进行汇总，并向请求用户返回。关于负载均衡算法的类型，目前主要有静态负载均衡算法、动态负载均衡算法等两类。其中轮询算法、地址散列算法等应用比较广泛，受限于篇幅，本文不做赘述。 　　2 基于HDFS的分布式存储系统设计及负载均衡技术研究 　　2.1 系统总体设计 　　1） 本文对基于Hadoop的云存储平台在线教育系统进行构建。其整体框架如下图所示： 　　 　　图1 云存储平台框架图 　　Hadoop是实现整体云平台的基础，系统一共装载了三台Hadoop机器，基于系统的实现，只需要利用浏览器，用户就可以进行简单操作。因此，本文在系统构建中采用了B/S，值得一提的是，如果机器装载了Web服务器，那么就必须对Hadoop进行安装，如此才能够使分布式文件系统的交互性得到保障。在分析与验证之下，本文所述系统的Web服务器定位开源的服务器Tomcat，