电信运营商大数据系统建设初探.pdfVIP

N 新聚焦 ew Focus 电信运营商大数据系统建设初探 □温文波 中国联合网络通信有限公司浙江省分公司 【摘要】 结合运营商内部大数据系统建设实际经验，从数据、平台、能力、应用等四个方面对运营商大数据系统建设提出自己的想 法和意见，仅供参考。 【关键词】 大数据 hadoop 能力建设 4G 时代，运营商“管道化”一词开始被频繁提及。运 二、平台 营商与互联网企业，传统电信业务与 OTT 业务被从各个角 笼统而言电信运营商对平台的需求至少包含以下几个方 度进行比较，与此同时，大数据，作为运营商利用“管道” 面： 资源进行自我救赎的重要举措也开始在各运营商落地、开花。 1、稳定：底层可升级，确保底层平台的延续性。尽可 大数据系统的建设，无外乎数据、平台、能力、应用等 能采用开源版本，减少运维压力；2、易用：屏蔽 hadoop 底 几个层面，电信运营商作为作为网络服务接入者和网络内容 层技术难点，运营商可集中精力处理能力实现、应用支持等 的承载者，在大数据系统建设方面有着自己的先天优势，同 核心问题；3、可视化：元数据管理、任务管理、运行监控、 时在建设过程中也有一些针对性要求：传统电信级运营的准 资源分配等操作尽可能采用可视化操作；常用挖掘算法、工 确、稳定、安全的要求与互联网模式所强调的快速、体验、 具的调用，重点数据源的引用均应尽可能以可视化方式实现； 迭代在理念上的冲突也要求电信运营商在大数据的建设、运 4、自动：任务分布式依赖与调度，减少人工干预；5、数据 营方面有所突破。 生命周期管理：数据保存周期的自动维护、归档和清理；6、 一、数据 多租户：数据的隔离与访问控制以确保安全，避免在 ETL、 相对互联网企业而言运营商在数据来源方面具有明显优 数据初加工、建模、能力建设等任何环节被绑定于一个供应 势： 商；7、安全共享：实现自动数据脱敏、日志、审计等； 1、全覆盖，运营商所能获取的数据包含了行为（浏览、 目前市场上主流的大数据平台主要有 hadoop（开源）、 搜索、下载等）、时间、位置（基于基站的位置）甚至可能 Greenplum、Vertica 等；Hadoop 分布式计算平台是 Hadoop 采 包行用户本次浏览的体验（网速、掉线等）。这些数据 APP 用开源模式，以分散存储和并行计算为基础的分布式计算平 只能以游走法律边缘的形式偷偷获取（如手机识别码、位置、 台，利用低成本的通用计算设备 (PC) 组成大型集群，构建下 通话记录），甚至根本无法获得（用户本次浏览的体验）， 一代具备高性能的海量数据分布式计算服务平台，其由 hdfs 而对运营商而言这些都只是运营商提供服务所必须具备的基 支持的分散存储、由 map/reduce 实现的并行计算、由 hive 实 础数据，运营商先天拥有这些数据。同时运营商能获取用户 现的数据仓库平台，hdaoop 很好地支持了超大规模数据存储 全天候上网行为数据，保证了对用户上网行为数据的全面掌 能力、高性能分布式处理、数据可靠性保障、系统的水平扩 握，相对而言，任何 APP 都无法避免被关闭，甚至后台进 展，其主要问题在于不支持联机事务分析及相对陡峭的学习 程一起被关闭而无法获取用户任何信息的黑暗时期。 曲线。考虑到 GP 等昂贵的 license 费用、对最前沿技术跟进 2、强关联，通过 IMEI 这个天然的“关键字”，所有 的相对滞后，hadoop 无疑是最好的选择。为解决学习曲线陡 用户的上网行为可以被明确地关联至准确的用户，避免了