广电互动媒体运营大数据支撑系统研究及业务实现.pdfVIP

广电网络 广达新网专栏 i_6'iUfi 专栏 t主~前ift 数宁'也视 广电互动媒体运营大数据支撑系统研究及业务实现 张卫 浙江博通影音科技股份有限公司 摘要: 近年来"互联网+"余而兴起. 全球大踏步迈入云计算大数据时代.广电行业存在严重的数据孤岛 问题，数据价值没有充分利用.缺乏有效的数据挖掘手段.无法直观的指导市场经营。 本文旨在探讨广电运营 商的大数据之路，分析大数据基础框架体系.研究大数据接入平台，设计业务场景.为优化广电现有各业务的 运营提供借鉴: 关键词: 广电大数据 支撑系统 2 大数据支撑系统总体架构 亿条数据处理能力。 1 广电大数据发展趋势 Hadoop 2.0 企业发行版，单套软 广电互动媒体运营大数据支撑系 随着互动媒体的发展以及服务竞 件含 MapReduce、 Hbase 、 Zookeeper、 争阵营的日益壮大，广电运营商的互 统总体架构如图 l 所示。 Hive、 Mahout 、 HDFS 功能组件，单套 动媒体经营理念已经从相对静态的编 2.1 大数据系统框架 软件可安装部署 1 台 X86 服务器，单 排服务走向接近互联网特质的实时化、 大数据管理系统基本框架，包括 台支持 10 亿条数据的存储。 个性化服务。 互动媒体运营商在考虑 对 Hadoop 的支持、操作员管理、基本 2.2 数据接入平台 构建新型竞争体系时，开始引人动态 权限管理、角色管理、日志管理、基 支持面向有线电视宽带、直播电 门户、 APP模式等新的体验构建思路， 本数据模型等。 整个服务的过程从手动趋于自动，从 视、互动电视、互联网电视现有日志 基于浏览器的图形化分布式集群 经验化趋于智能化，从定期非实时趋 管理软件，它提供配置、安装、管理 系统;互动媒体服务相关的 CDN 、 于实时化。 和优化的工具。 基于浏览器的图形化 AAA、 BOSS、生产、编排、媒资、门 经营理念的演进一方面需要数据 分布式集群监控软件，它可以监控集 户等系统抓取各种结构化和非结构化 的支撑，另一方面也将产生海量的数 群中节点的系统和Hadoop 服务的状 的非流式日志数据，用于数据的加工、 据，用户服务的实时化需要快速对大 态，也可以发送报警信息，并支持 10 存储和分析。 量行为数据进行比对分析，分析内容 从传统的数据库结构化数据，延伸到 平 服 台 " 务 曲 回 回 E罕_sa&: 各种来自互联网、微博、论坛、网元 设备、业务系统的碎片化、非结构化 数据等，而传统的数据形态、数据规 模和数据使用模式将很快成为制约广 平 台 窗 理 舷 幅 幅 电运营商互动媒体业务发展的主要瓶