基于Hadoop技术的广电大数据平台构建.pdfVIP

数字传媒研究 第34卷 2017年 第2期 基于Hadoop技术的广 电大数据平台构建 卢建丽 杨 轩 1．2．内蒙古新闻出版广 电局841台 内蒙古 呼和浩特市 010050 摘【 要】随着互联网时代传播载体和传播 内容的快速增长，特别是网络电视和视频网站的快速发 展 ，广播 电视体系受到 了强烈的冲击 。在大数据时代背景下，如何利用大数据为用户提供更加优质的服 务，成为摆在广 电人面前的一个新课题 。本文就如何基于Hadoop技术构建广电大数据平台，通过挖掘 海量数据，为用户提供个性化服务 ，增强广电行业的核心竞争力，提 出建议。 【关键词】Hadoop技术 大数据 广电网络 【中图分类号】TP312 【文献标识码】B 【文章编号】2096—0751(2017)02—0016—05 本文将探讨如何基于Hadoop技术构建广 电大 引 言 数据分析平台，逻辑上包含：数据采集模块 、数 据存储模块 、数据分析模块、数据应用模块 四个 随着大数据时代的来临 ，网络电视和视频网 主要部分 ，利用数据挖掘算法 ，为广 电用户提供 站蓬勃发展 ，受此冲击广 电媒体的受众 、开机率 更优质的服务，提升广 电媒体的市场竞争力。 和广告份额均出现下滑。广电媒体受限于传统媒 体播送形式， “不知道用户在哪里 ，也不知道用户 1 广电大数据分析平台架构 的需求是什么”。为提高在大数据时代的竞争力 ， 广电媒体加快了大数据技术应用的脚步 ，开始积 广 电用户每天产生大量的数据，例如，观看 累海量用户数据 ，以提供更加人性化 、更加优质 节 目时间、广告时段 、调台频率等，针对这些海 的服务。 量数据 ，我们选择全部采集记录 ，全量数据分 作者简介 ：卢建丽 内蒙古新闻出版广电局841台 工程师 杨 轩 内蒙古新闻出版广电局841台 助~ALT--程师 一 52 — 中 心 技 术 第34卷 析，这符合大数据特点 。数据采集后进入 由Ha— HDFS即 Hadoop Distributed File System， doop技术架构支撑 的仔储模块，对采集到的数据 是一个分布式文件系统，特点为：(1)适用于对 进行预处理，并存储在 HBase数据库 。HBase是一 几百TB甚至PB级数据 的存储 ，(2)采用流式数 个在HDFSh开发的面向列的分布式数据库 。分析 据访 问模式，即一次写入 ，多次读取 ，是最高效 据数一一 据数 模块将对存储的数据进行数据挖掘，借助诸如聚 的访 问模式 ，(3)不需要在专用服务器 一r：运行 ， 类分析、分类器等算法，对海量数据中有价值的 可以在普通服务器上运行。 口 d 块～ 块 数据进行挖掘分析。应用模块是顶层模块 ，提供 MapReduce是一个软件架构