基于Hadoop的电信大数据采集方案研究与实现.pdfVIP

基于Hadoop的电信大数据采集方案研究与实现 汪保友 ’，钱晶 ’，袁时金 。 (1．中国联合网络通信有限公司上海市分公司，上海 200050； 2．同济大学软件学院，上海 201804) 摘 要 ：ETL是数据仓库实施过程 中一个非常重要 的步骤 ，设计一个能够对大数据进行有效处理的ETL流程 以提高运营平台的采集效率 ，具有重要的实际意义。首先简单介绍某运营商大数据平台采集的主要数据内容。 随后 ，为提升海量数据采集效率 ，提出了Hadoop与 Oracle混搭架构解决方案 。继而 ，提出一种动态触发式 ETL 调度流程与算法，与定时启动的ETL流程调度方式相 比，可有效缩短部分流程的超长等待时间；有效避免资源 抢 占拥堵现象。最后 ，根据 Hadoop和 Oracle的系统运行 日志，比较分析 了两个平 台的采集效率与数据量之间 的关系 。实践表 明，混搭架构的大数据平 台优势互补 ，可有效提升数据采集时效性 ，获得 比较好的应用效果 。 关键词：大数据；ETL；Hadoop；调度流程 ；混搭架构 中图分类号 ：11P311 文献标识码 ：A doi：10．11959~．issn．1000—0801．2017010 Researchandimplementationonacquisitionscheme oftelecom bigdatabasedonHadoop WANGBaoyou，QIANJing，YUANShijin2 1．ShanghaiBranchofChinaUnitedNetworkCommunicationCo．，Ltd．，Shanghai200050，China 2．SchoolofSoftwareEngineering，TongjiUniversity，Shanghai201804，China Abstract：ETL isavery importantstep in the implementation processofdatawarehouse．A goodETL flow is important，whichcaneffectivelyprocesshtetelecom bigdataandimprovehteacquisitionefficiencyofhteoperation platform．Firefly，htemain daat contentofthebigdataplaftomr wasexpounded．Secondly，inordertoimprovehte efficiencyofmassivedaat collection，HadoopandOraclemashup solutionWas suggested．Subsequently，adynamic triggeredETL schedulingflow andalgorihtm wasproposed．Comparedwith timerstartETL schedulingmehtod，it could effectively shortenwaiting timeand avoid htephenomenon ofresourcesto seizenad congestion．Finally， accordingtohterunninglogofHadoopplaftomr andOracledatabase，therelationshipbetweenacquisitionefficiency anddaat quantitywasanalyzed comparatively．Furthemr ore，practiceresultshowsthathtehybriddatastructureof thebig dataplatfomr complementeach otherandCna effectively enhance t