Map-Reduce在媒资系统数据收集中的应用.pdfVIP

ComputerEngineeringandApplications计算机工程与应用 Map—Reduce在媒资系统数据收集中的应用 彭四伟，许伟静 PENGSiwei，XUWeijing 北京化工大学 信息科学与技术学院 网络数据库组，北京 100029 NetworkDatabaseTeam．CollegeofInformationScienceTechnology,BeijingUniversityofChemicalTechnology,Beijing 100029，China PENG Siwei，XUWeijing．ApplicationofMap-Reducefordatacollectioninmediaresourcemanagementsystem． ComputerEngineeringandApplications，2014，50(20)：119—123． Abstract：Inthetraditionalmediaresourcemanagementsystem，thetaskofdatacollectingisbasedontheC／SorB／S modewhichneedsthehighperfomr anceonservers．Inordertoacquirethehigherperfomr ance，thetraditionalmethodis tobuyserverswithhigherconfiguration，thenew wayistoadoptthecloudcomputingwhich isemerged inrecentyears． Inthispaper，usingtheHadoopMan—ReduceframeworkofApacheimplementsdatacollectingfrom differentsources．In theexperiments，Itanalyzestheexperimentalresultsandcomparisonofthreemodeswhicharestandalone，pseudo—distributed ofHadoop，fully-distributedofHadoop．Accordingtothestudies，theM 印一Reducecancutdownthetimeandimprovethe performanceoftheservers． Keywords：mediaresourcemanagementsystem；M 印一Reduce；datacollecting；smndalonemodeofhadoop；pseudo—distributed modeofhadoop；fully-distributedmodeofhadoop 摘 要：在传统媒体资源管理系统中，数据收集工作通常是基于C／S或B／S架构设计的，这对服务器的要求比较 高。 为了提高服务器的性能，传统的模式就是购买更高性能的服务器，然而，近几年 出现的云计算也是一个很好解决办 法。采用Apache公司的HadoopMap．Reduce框架来实现数据收集功能，并通过实验 ，将数据收集工作在传统的单 线程模式(传统实现模式)、Hadoop伪分布模式和全分布模式下所需时间进行比较，并对执行结果进行了分析。研究 表明：使用Map—Reduce的这种云模式，确实可以缩短执行时间，以达到提 高服务器端性能的目的。 关键词：媒资管理系统；Map．Reduce；数据收集；hadoop单线程模式；hadoop伪分布模式；hadoop全分布模式 文献标志码：A 中图分类号：TP319 doi：10．3778~．issn1211—0005 1 引言 的，比如说每天的股市数据 、电视剧 、电影等内容 ，这使 1．1 媒资系统中数据收集系统的现状 得数据收集成为了节 目制作和播出过程中的一项非常 在当今这样高度信息化的社会里 ，广播电视仍然是 重要的支持活动。 一 项传统却非常重要的信息传播渠道 ，看电视也仍然是 现有媒体资源管理应用系统中，数据收集通常是基 人们 日常生活 中的重要部分 。电视节 目的精彩程度和 于C／S或者B／S架构实现的。虽然每个数据收集素材的 信息量，很大程度上取决于节