一种基于大数据平台的移动通信信令系统20151110资料.docx

2015年技术专长培养大数据架构专业  PAGE \* MERGEFORMAT 15 一种基于大数据平台的移动通信信令系统 谢识常 目录  TOC \o 1-3 \h \z \u  HYPERLINK \l _Toc435023124 摘要  PAGEREF _Toc435023124 \h 2  HYPERLINK \l _Toc435023125 1.背景  PAGEREF _Toc435023125 \h 2  HYPERLINK \l _Toc435023126 2.系统框架  PAGEREF _Toc435023126 \h 3  HYPERLINK \l _Toc435023127 3.系统关键模块  PAGEREF _Toc435023127 \h 3  HYPERLINK \l _Toc435023128 3.1 系统采集、解析、存储方式  PAGEREF _Toc435023128 \h 4  HYPERLINK \l _Toc435023129 3.2 数据的建模设计  PAGEREF _Toc435023129 \h 5  HYPERLINK \l _Toc435023130 4．数据处理中的关键技术  PAGEREF _Toc435023130 \h 6  HYPERLINK \l _Toc435023131 4.1 Hadoop基础  PAGEREF _Toc435023131 \h 6  HYPERLINK \l _Toc435023132 4.2 基础数据采用Hbase数据库存储  PAGEREF _Toc435023132 \h 7  HYPERLINK \l _Toc435023133 4.3 汇总KPI数据使用Hive构建数据仓库  PAGEREF _Toc435023133 \h 8  HYPERLINK \l _Toc435023134 4.4 上层应用查询考虑Impala数据查询工具  PAGEREF _Toc435023134 \h 9  HYPERLINK \l _Toc435023135 4.5 Spark计算框架的引入  PAGEREF _Toc435023135 \h 11  HYPERLINK \l _Toc435023136 4.6 硬件架构参考  PAGEREF _Toc435023136 \h 13  HYPERLINK \l _Toc435023137 5.结论  PAGEREF _Toc435023137 \h 15  HYPERLINK \l _Toc435023138 6.鸣谢  PAGEREF _Toc435023138 \h 15   摘要 信令系统是运营商日常运维的重要支撑手段。现阶段数据业务急剧增长，基于传统数据库的信令平台对信令数据的处理越来越困难。本文探讨一种基于大数据平台的移动通信信令系统。先给出系统的主要框架，论述数据处理的流程，已经讨论系统涉及的关键大数据技术，最后给出一个硬件的配置参考样例。 1.背景 2012年广州在全国率先建设TD-LTE试验网络，2014年广州4G网络正式商用。现阶段数据业务需求猛增、流量急速增涨。移动需要四网协同(WLAN、LTE、3G、2G)，做到集中管理、实时维护网络存在的问题，及时处理网络故障。信令是网络交流的语言，网络的管理与优化需要完善的信令系统的支撑。随着用户、业务、信令数据的急剧膨胀，基于传统数据库的信令系统已经很难满足网络运维优化的实时、存储及分析要求。 例如，2015年广州本地信令系统对于4G KPI指标只能做到15分钟粒度的统计，现在客户感知越来越敏感，5分钟内的指标监控能提高网络运维侧响应网络故障与隐患的主动性；此外，随着信令数据膨胀，传统数据库不能做到线性增加，数据库分表、分库操作复杂，存储效率低，广州本地信令系统由于数据库调整造成不可用的时间越来越长；另外，在网络数据的价值挖取当中也缺乏灵活手段，目前只能按几种固定的时空、网元、目的IP等维度的统计。 大数据技术的日益成熟，在通信领域运用越来越广。更多运营商开始部署基于大数据平台的信令系统。 基于大数据解决方案的信令系统就是在这样的背景下,专门为规划、运维、优化等部门员工提供所需的支撑数据,提供解决方案的综合分析优化平台。对于移动信令分析，大数据首先是面临着越来越多的海量数据挑战；其次，要通过合适的分析处理，从大量数据中分析出工程人员需要的数据，区分出重点数据及非重点数据，分辨出哪些数据是实时需要的，哪些数据是需要存储，为以后