基于Hadoop高校微课系统研究与实现.docVIP

基于Hadoop高校微课系统研究与实现 　　摘 要微课快速的发展，使得微课视频量的爆炸式增长，使现有的存储平台难以满足视频增长的要求，因此构建一个基于云存储的微课系统变得尤其重要。本文主要介绍如何将Hadoop技术应用到微课系统中，实现了微课视频的海量存储及流媒体式播放。最后介绍了苏州科技学院苏科视频的实现过程。 　　【关键词】Hadoop RTMP 微课 　　1 引言 　　近年来，高校微课的发展作为教学的补充，受到了学生的热烈欢迎，对教学起到了积极的作用。随着微课的不断增加，产生了大量的数据，这海量数据给学校的存储系统带来了很大的压力。如何将海量的视频进行有效的廉价存储，是微课发展中必须要解决的问题。 　　以云计算为基础的分布式存储系统是实现廉价存储趋势，通过云计算进行硬件资源整合提供强大的存储能力及计算能力，并实现了对数据的统一管理，提高服务质量以及数据处理的可靠性和扩展性。 　　本文在Hadoop的架构基础上，将Hadoop的HDFS作为微课系统海量存储系统，用Red5做为流媒体服务器，实现校园微课系统。 　　2 相关技术 　　2.1 云存储 　　云存储是在云计算概念上延伸和发展出来的一个新的概念，是一种新型的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，对外提供数据存储业务的一个系统。 　　2.2 HDFS 　　HDFS是Hadoop的分布式文件系统。HDFS采用Master/Slave模式，一个HDFS集群系统是由一个Master和多个Slave构成。HDFS集群有两类节点，并以管理者――工作者的方式运行，即一个NameNode（管理者）和多个DataNode（工作者）。NameNode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。DataNode是文件系统的工作节点，它根据需要存储并检索数据块，并且定期向NameNode发送它们所存储的块的列表。 　　2.3 Red5 　　Red5是一个采用Java开发开源的Flash流媒体服务器。Red 5支持众多功能，具体包括号： 　　（1）把音频（MP3）和视频（FLV，F4V，MP4，3GP）转换成播放流； 　　（2）录制客户端播放流，把摄像头，麦克风等传入的音频视频录制保存到服务器； 　　（3）共享对象； 　　（4）现场直播流发布； 　　（5）远程调用； 　　（6）协议：RTMP，RTMPT，RTMPS，and RTMPE。 　　2.4 RTMP 　　RTMP是一种设计用来进行实时数据通信的网络协议，主要用来在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信。 　　该协议基于TCP，是一个协议族，包括： 　　（1）RTMP工作在TCP之上，默认使用端口1935； 　　（2）RTMPE在RTMP的基础上增加了加密功能； 　　（3）RTMPT封装在HTTP请求之上，可穿透防火墙； 　　（4）RTMPS类似RTMPT，增加了TLS/SSL的安全功能。 　　3 系统的设计 　　3.1 系统架构 　　微课系统在架构从下往上分别是：混合存储层，数据管理层，数据接口层和应用层。 　　（1）混合存储层：混合存储层主要包括了各种物理机的硬盘和虚拟机的硬盘。在Hadoop系统的管理下为DataNode提供空间存储服务。 　　（2）数据管理层：数据管理层做为公共数据平台的管理者，基于Hadoop的NameNode来负责管理文件系统的命名空间、集群配制信息维护、存储块的复制和整个平台的存储块的动态平衡等。 　　（3）数据转换层：HDFS-RTMP实现HDFS数据到RTMP数据格式的转换。 　　（4）应用层：为用户提供流媒体服务。 　　3.2 HDFS-RTMP 　　HDFS-RTMP是实现整个系统关键，包括两个主要模块：HDFSClient和RTMPClient。HDFSClient和RTMPClient是一个种背靠背的结构，HDFSClient负责从Hadoop集群中实时读取视频数据，提交给RTMPClient；RTMPClient则是负责将接收到的视频数据以RTMP数据流的形式发向Red5服务器。 　　3.2.1 HDFSClient实现 　　通过调用HDFS API接口来实现以文件流的形式读取Hadoop集群中存储的视频数据。通过一个FileSystem对象可以打开一个Path文件，返回一个FSDataInputStream文件输入流对象，然后从该FSDataInputStream对象就能够读取出文件的内容，步骤如下。 　　（1）HDFSClient调用FileSystem