基于大数据平台的数据分发机制研究.PDFVIP

Research Development 研究与开发 基于大数据平台的数据分发机制研究 1 2 2 袁 涛 谢 攀 赵 清 1 西部航空有限责任公司 重庆 400030 2 联通系统集成有限公司 北京 100032 摘　要 大数据平台具有很好的扩展性，如何与传统的数据仓库结合并发挥其优势成为研究的热门方向。文章重点 ， ， 。 研究传统数据仓库架构中接口机承担的数据分发机制 完成功能架构和技术架构设计 开发并进行了应用推广 通 ， ， 。 ， 过引入大数据平台 使之具有良好的扩展性 同时解决了性能问题 该方案不仅解决了接口机的时效性问题 还可 ， 。 以作为混搭的大数据融合平台架构的一部分 为基础电信运营商数据仓库的建设积累了一些宝贵的经验 关键词 大数据平台；数据仓库；数据分发机制 降低接口机的负载 并保证各个接口数据的最终加载时 ， 引言 [5] 间达到最优水平 从而支撑各项指标按时提供 。将某 ， 传统的数据仓库系统采用接口机→ETL→数据库仓 省数据仓库系统的BSS详单数据全部加载到大数据平台 库的架构。接口机通常用于加载来自源系统的数据，以 进行处理并进行测试，结果良好。 及承担对外数据服务的职能。 1 系统设计总体思路 随着用户和业务复杂度的增加，以及数据服务的 需要，多个数据集市均需要从数据仓库获取数据[1] ，基 该系统总体属于ETL模块，与云存储模块配合完成 于接口机的数据加载和服务模式越来越受到限制 从某 [6] ， 数据拆分及分发功能 ，数据拆分分发子系统在典型的 省数据仓库的实际运行效果看，在业务高峰期(早上2点 数据仓库云化架构中的位置见图1所示。 到8点)CPU的使用率趋近100%，各接口的加载时间延 后，严重影响到指标数据[2] 的提供和业务系统的使用， WEB FTP WAP 已经给生产系统的运营带来比较大的风险和压力。 经营分析系统建设维护过程中越来越突出的问题， X86 ESOP VGOP 就是运维工作越来越复杂 主要体现在以下方面 1