通信公司hadoop环境及应用说明.pdfVIP

通信公司 Hadoop 环境及应用说明 1 硬件环境 目前公司测试环境硬件情况： 三台测试服务器，信息如下： 设备型号 浪潮 NF8560M2 设备 IP，主机名 私网： 05 sdw3 06 sdw4 07 sdw5 ： 7 sdw3-sp 8 sdw4-sp 1 sdw5-sp 处理器 E7-4807*4，主频：1860MHz ， 数量：六 ，线程数 量：12 ，L3 缓存：18MB 内存 256GB 硬盘 8*2TB(企业级）SATA，转速7200 RAID 操作系统 2 块 RAID1，其余6 块 RAID0 网卡 2 个千兆网卡 HBA 卡 无 操作系统 RHEL6.2 24 口千兆网络交换机一台，信息如下： 5 台 segment host 使用 2 块千兆网口做多网卡绑定 bond0 ，Master host 使用三个千兆网口做多网 卡绑定 bond0 ，组成一个内部私有网络。 sdw3，sdw4，sdw5 在绑定网卡上增加 IP 方式设置外部 IP，mdw-sp，sdw1-sp，sdw2-sp 单独一个 网卡设置外部 IP。 所有外部 IP 从一个口连接外部网络，端口速率是 100M bit/s，除出口外所有网口速率均为1000M bit/s。 2 应用信息说明 2.1 数据处理技术架构 我们选用其中的信令数据和话单数据作为 POC 验证的数据源。 2.2 典型 ETL 过程 ➢ 业务说明 信令数据的分析内容：信令数据主要用于业务构成等相关分析，通过信令数据可以获取小区、用 户的业务构成情况，分析出小区主要承载的是什么类型的业务，用户对哪些业务有偏好等；同时通过 信令数据还可以分析用户使用的终端对不同网络的质量支持情况。 信令数据的分析用途：用于市场 判断（区域 和用户 ）及建站考虑因素（TD 和热点） ➢ ETL 环节对应： ➢ 数据处理流程： ➢ 加载方式 有几种种场景的 ETL 过程 1. 原始信令文件到 HIVE a) 步骤 1 ⚫ 方式 1 ：采用flume ，转换格式并保存到HDFS ⚫ 方式 2 ：采用自有工具FPF ，转换格式后保存到HDFS b) 到 HDFS，使用HIVE 的 语句进行 ( ，实际也可以直接移动文件到HIVE 表所在 目录. LOAD DATA INPATH ‘…’ INTO TABLE 表 [PATITION(…)]; Hadoop fs –mv from to 2. HIVE 内部汇总，结果 HIVE 表 INSERT INTO TABLE O_CU_ST_SG_DY_BUSI PARTITION(DAY_KEY SELECT /*+ MAPJOIN(DM_CELlKEY) */ DM_CELlKEY.CELL_KEY, AREAID AS USERCITY_KEY, rattype, serviceid, protocolid, interfacetype, tac, uetype, ostype, browsertype, apn, sgsnid, ggsnid, imsi, imei, msisdn, times, duration, sendpacket, recvpacket, sendoct/1024/1024, recvoct/1024/1024, alloct/1024/1024, netdelay, minnetdelay, maxn