移动网管数据共享平台.docVIP

亿阳移动网管数据共享平台V1.0 说明书 目 录 第一章 项目概述 1 1.1 建设背景 1 1.2 建设目标 1 1.3 建设原则 1 第二章 总体技术方案 2 2.1 系统接口 2 2.2 功能架构 2 2.3 软件架构 3 2.4 技术架构 4 2.5 关键技术 5 2.5.1 HDFS 5 2.5.2 Map-Reduce 5 2.5.3 Hive 5 2.5.4 Impala 6 2.5.5 Sqoop 6 2.5.6 Oozie 6 第三章 软件功能设计 7 3.1 采集层功能 7 3.2 处理存储功能 8 3.2.1 数据解析 8 3.2.2 数据导入Hive 8 3.2.3 数据汇总（Hive） 8 3.2.4 数据汇总（MapReduce） 9 3.2.5 数据导入Oracle 9 第四章 系统运行平台 10 4.1 硬件需求 10 4.1.1 Hadoop节点机处理能力需求 10 4.1.2 Hadoop存储需求 12 4.1.3 Hadoop节点机需求总结 12 4.2 第三方软件需求 12 4.3 第三方软硬件需求清单 13 4.4 拓扑图 14 项目概述 建设背景 MR数据作为网络优化分析的重要参考数据，在满足新增网元接入的同时，也需要充分考虑系统的性能和可靠性。对网络数据的数据量做出准确的估算，对系统的处理效率提出新的挑战。 建设目标 基于全新的分布式MR数据接入和分析方案，在满足当前扩容网络需求的同时，也充分考虑未来的技术升级和扩容需求。 建设原则 本工程的建设遵循如下原则： 1）MR数据的采集时延可满足网优工作中监控和分析的要求； MR数据的存储时长可满足监控和分析需求； MR数据的查询性能可满足监控和分析需求； 系统必须可靠、稳定运行； 系统需充分考虑扩展性； 6）系统需考虑基于海量数据进行分布式的采集、计算和分析； 总体技术方案 系统接口 系统通过FTP取厂家MR报文，经过大数据统计分析，输出分析结果到三方oracle数据库 功能架构 分为数据采集、二进制文件解析、MapReduce/Hive汇总、导入Oracle。 报文使用Mapreduce解析文件，通过hive、impala工具进行统计分析汇总，将汇总结果使用sqoop导入到三方库。 技术架构 通过混搭方式，实现不同数据规模、不同数据类型的数据处理。 使用Map-Reduce处理，应对复杂逻辑，要求高效、大数据场景的开发。 使用Hive-SQL的开发方式，满足日常大数据汇总、处理、简单计算的场景开发。 使用HBase-noSQL方式开发，满足应用类，快速查询，快速提出数据，快速检索等需求场景。 使用Redis-noSQL方式开发，满足低延时应用查询，基础数据关联等场景。 使用Oracle- 关键技术 本次系统中使用到的Hadoop框架内容包括： HDFS Hadoop分布式文件系统(Distributed File System) － HDFS (Hadoop Distributed File System)。 Map-Reduce 并行计算框架，0.20前使用 org.apache.hadoop.mapred 旧接口，0.20版本开始引入org.apache.hadoop.mapreduce的新API。 本项目中此项技术用来解决大数据的预处理或特定要求下的大规模计算。 具体特点： 海量数据快速加载。 海量数据的清洗与转换工作。 海量数据转换为Hbase格式数据。 Hi Hive：数据仓库工具，可以使用SQL脚本方式，对数据进行开发，本项目作为日常的汇总统计工具。 具体特点： 满足对数据的稽核统计 与Impala的结合，满足近线短周期的大数据快速JDBC、ODBC方式查询。 Impala 具体特点： 速度快Sqoop 用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Oozie Oozie是服务于hadoop生态系统的工作流调度工具。基于工作流引擎的开源框架，是由Cloudera公司贡献给Apache的，它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。 软件功能设计 采集层功能 把历史数据从其它数据库系统，或文件系统中，采集进入大数据分析系统 1. 阿尔卡特-朗讯 数据存储格式为 /DIR/YYYYMMDD/HH_SRNC-ID_DEV_ID （/小时_SRNC标识-采集设备标识） 举例：00_RNC1333_0001_MR.txt 获取规则：当前时