以分布式计算实现电信数据分析业务加速的研究.pdfVIP

以分布式计算实现电信数据分析业务加速的研究 闻剑峰 ，石屹嵘 (中国电信股份有限公司上海研究院 上海 200122) 本文剖析 了电信数据分析系统存在 的问题 ，针对其性能瓶颈提 出了基于 Hadoop框架 的分布式计 算架构，实现 电信数据分析的业务加速。接着对基于分布式计算框架的数据分析方案的功能模型 和加速能力展开论述 ，并对分布式计算在 电信数据分析业务加速方面的实际应用情况做了进一 步的分析和 比较 ，为业界对分布式计算在相关领域 的应用提供 了有益 的借鉴 。 随着数据分析业务数据量的快速增加，分析维度的扩 1 引言 展，某些业务已经出现明显的性能瓶颈，妨碍数据业务分 为了提高电信行业的工作效率和服务质量，建立灵活 析在电信业务发展和市场竞争中发挥更大的作用。数据分 的营销机制．推动新业务的开展和适应激烈的市场竞争。商 析业务的性能瓶颈主要表现在以下3个方面。 业智能(businessintelligence，BI)开始进入电信行业。BI应 · 海量数据挑战：数据分析业务从话音的CDR(call 用在电信行业又称作电信数据分析系统。随着电信全业 detailrecord，呼叫详细记录)发展为数据业务的 务运营时代的到来，电信传统的数据分析系统正面临着海 DPI(deeppacketinspection．深度报文检测)的UDR 量数据处理的压力，亟需根据自身的管理需求和市场竞争 (userdatarecord，用户数据记录)；记录规模从千万 需要．构建适合于自身管理特点的电信数据分析系统。本 条增长100倍发展到数十亿条；存储规模正由GB 文研究的目的是如何利用分布式计算技术实现电信数据 级别向TB级别发展。 分析系统的业务处理加速，进而提高系统性能，加强决策 · 传统方案失效：面对海量数据，传统的小型机+磁阵方 水平 案无法胜任；Oracle可处理数千万条，无法处理数 十亿条记录；传统SQL查询响应慢，某些业务运行时 2 电信数据分析系统的现状 间超过数小时。 随着电信业务的快速发展以及市场竞争的挑战，数据 · 并行分析瓶颈：分析维度需要同时支持多种业务的 分析平台作为各级领导制定策略的重要参考以及市场部 并行分析；业务平台还需要同时支撑多部门、多地域 门进行推广计划的重要依据。数据分析相关业务的重要性 的并发查询；业务请求集中在月初，由于时间冲突， 和应用价值不断提升。 导致效率下降。 专题 ：信 息数据繁瑗鸯分析成翔 软件平台，例如Teradata平台的系统扩容价格非常昂贵， 方式将此数据导人数据仓库Hive中。 而且需要绑定硬件的存储容量。另一种方案就是采用外部 具体来说，就是在多台PC服务器上部署Hadoop框 加速方式。即通过Hadoop云平台可以有效提高业务处理 架，包括了HDFS以及Hive分布式数据仓库，然后通过接 速度。本章将着重介绍采用外部加速实现海量取数加速的 口将数据集市中的数据导入Hadoop集群。应用Hadoop分 应用案例．案例对象是中国电信股份有限公司某省公司的 布式计算框架提供的分布式文件系统以及Hive分布式数 大批量智能取数平台(intelligentdataacquireplatform，ID