基于HBase的互联网电视运营分析架构和模型设计.docVIP

PAGE / NUMPAGES 基于HBase地互联网电视运营分析架构和模型设计-农学论文 基于HBase地互联网电视运营分析架构和模型设计 廖辰瀚1，王 盛2，李 凯1，王换文1，孟凡德2，尹春阳1 （1.天翼视讯传媒有限公司，上海 201206；2.兵团第五师科技局） 摘要：随着云时代地来临，互联网电视（OTT TV）业务吸引了越来越多地关注.新疆建设兵团所处地域辽阔，生产和生活地网络视频化地经管与服务地需求也日益明显.兵团地互联网电视业务在日常运营中会生成并累积大量地用户行为数据.由于不同类型地用户行为数据来自不同地数据平台，数据结构各异且数量庞大，从成本和性能方面考虑，传统地关系型数据库难以出色地完成用户行为分析.为此，本文介绍一种基于Hbase地互联网电视用户行为分析系统架构和模型设计，实现大规模异构行为数据地挖掘分析，为更好地运营兵团地域地互联网电视业务提供解决办法. 关键词 ：HBase；大数据；OTT用户行为数据系统架构；用户行为分析模型 随着互联网电视产业地快速发展，由各终端品牌厂商、平台运营商、互联网视频内容服务商、应用服务提供商等不同地产业链环节，构成了互联网电视产业生态系统.格兰研究地数据统计则显示，截至2013年年底，在产业链各参与方一起发力地催化作用下，中国互联网机顶盒市场存量已破千万台.进入2014年，各大运营商地wifi、4G网络地覆盖也将为互联网电视地业务发展解决“最后一公里”业务到户地障碍.相关数据表明，互联网电视用户发展规模预期到2015年就会接近8 000万，全球来看，到2016年甚至会超过5亿，中国地增长时间会更加早一些. 在互联网电视业务地终端、承载网络和平台经管域都呈现离散分布式密集发展地趋势下，在互联网电视内容监管政策日益紧缩地影响下，着眼于互联网电视业务持续运营地产业链参与方都对互联网电视用户地行为分析以及互联网电视行业应用或承载业务地经营分析提出了更高地要求.新疆建设兵团地诸多互联网电视应用场景正是在宽带高速网络全面覆盖地前提下应运而生：如，兵团内部地党校视频学习、基于IP地互联网电视视频通讯和智能放哨等，如何能在保证数据安全性地前提下，对这些异构行为数据进行第一时间地收集处理，形成可靠地用户行为分析结论，成为互联网电视应用在兵团范围内普及地一个重要课题. 而目前地互联网电视地运营体系相对庞大地用户规模来说，运营平面在各自割裂地经管域里过于集中，数据处理体系呈现平面化，不能适应目前大量用户和业务地异构数据分析运营需求.同时在行业内部还来不及形成一个很好地参考模型，现有地平台之间不具备大数据协同处理地能力，为将来地业务合作后地共同发展形成了障碍.行业内对互联网电视运营数据地系统架构模型需求日益突显. 为了解决上述需求与问题，本文基于HBase地分布式地用户行为分析应用，建立了整体互联网电视数据运营地参考架构模型，并详细列举了相匹配地基本数据结构和数据处理模式，最后与其他地数据库构成方式地性能进行了比较. 1 整体架构 1.1 Hbase原有系统架构 HBase是Apache Hadoop地数据库，能够对大型数据提供随机、实时地读写访问.HBase地目标是存储并处理大型地数据.HBase是一个开源地、分布式地、多版本地、面向列地存储模型，它存储地是松散型数据.相比传统地关系型数据库，HBase具有易扩展、大数量、扩展灵活、成本低等优势.Hbase地系统架构如图1所示. 1.2 OTT用户行为数据系统架构图 在OTT体系中，每个机顶盒终端就是一个用户，有唯一地用户标识UserID；用户通过机顶盒来访问和使用互联网电视业务，用户在盒端系统上产生地所有行为日志都上传给系统平台（OpenApi），由系统平台进行数据地处理后进行入库，供经分系统进行单用户或批量用户地查询，OTT地用户行为数据系统架构图如图2所示. 2 数据结构 2.1 数据结构设计 Hbase底层是基于列式存储地，可以在不浪费存储空间地情况下将表设计得非常稀疏[1].因此可以将所有地用户行为数据存储在一张宽地表中，消除在进行“行为间组合查询条件”查询时带来地表联开销.由于Hbase目前并不能很好地处理两个或者三个以上地列族[２－3]，本场景中采用单列族设计，列族地大版本数（MaxVersion）设定为1. 想要获得较好地查询效率，应该将频繁查询地条件放在Row Key中，尽量保证查询条件都在Row Key中有所体现. 从图３可以看出Hbase地查询效率从高到低依次为Row Key、Column Family、Column Qualifier、TimeStamp和Value.因此想要获得