云平台在电信行业的应用.ppt

中国电信内容计费整合器 Hadoop简介 应用情况 应用优势 典型应用 项目简介 业务驱动/平台定位 话务标签 消费标签 搜索结果 下图是『即查即用』的搜索结果报告 应用建议 应用需求 存储流程 案例分析 案例配置 应用建议 业务驱动 应用分析 管理原则 效益分析 数据采集 并行分发 数据缓存 文件压缩 数据采集 此环节用于采集或接收目标数据. 在此测试案例中,主要负责批量生成模拟数据。 并行分发 建立数据分发队列，管理数据节点的连接请求。若连接成功，则并行分发；若连接失败，则本地缓存数据。 数据缓存 建立RAMDISK，将接收到的数据 写入RAMDISK， 采用SLOT（文件槽）机制。 文件压缩 采用Linux标准的GNUzip算法进行数据压缩,根据数据样本的不同 压缩比率可以从几倍到几十倍。 数据入库 数据入库 将压缩数据写入HIVE库，副本系数是2。 数据流向图 （采集节点） （采集节点） 图例说明: 表示从采集节点传送到数据节点的数据分发流向 表示从数据节点导入HIVE数据仓库的的存储流向 联机导入性能 测试流程 — 节点规模：20个数据节点，2个名称节点，4个采集节点 — 样本数据：200GB — 导入时间： 698秒 — 压缩率： 5.3倍 — 吞吐率：126Mbit/秒/节点 联机导入测试结果 —峰值数据量:4Gbit/秒 —均值数据量:1Gbit/秒 —单日数据量:3T —存储要求:6个月（540T） —节点能力：单个节点的吞吐率为126Mbit/秒 —网卡配置：双千兆网卡，1块用于数据采集，1块用于Hive存储 —网络配置：两个千兆交换机 流量测算 —节点配置：通常配置为8T (4*2T硬盘)，最大为12T( 4*3T硬盘) —有效空间：3.6T=8T/2*90%, 副本系数2,数据存储占用率90% —压缩算法：支持Linux上主流的GNUZip和BZip2压缩工具 —数据压缩率：几倍~几十倍(不同样本)，通常按照5倍压缩计算 存储测算 数据存储 案例需求 配置计算 —节点规模：经过计算配置32个节点，可以提供4.03Gbit流量和576T容量 —冗余建议：系统负荷较大，建议采用10%冗余，也就是35个节点 —性能扩展：增加节点可平滑扩容，同时网卡千兆升为万兆可有效提高性能 配置建议 数 量 型 号 配 置 操作系统 2台 Pc Server CPU:XEON? 5600 内存: 8G 硬盘: 2*146G SAS 网卡：双千兆网卡 Linux AS5 名称节点 数 量 型 号 配 置 操作系统 35台 Pc Server/工控机 CPU: Dual Core E5300 内存: 4G 硬盘: 8TB (4*2T Sata) 网卡：双千兆网卡 Linux AS5 数据节点 说明:数据节点可以采用不同配置的机器构建异构化网络，同时设备完全可以支持利旧。 海量存储云可以应用于电信业务的海量历史数据存储， 包括CDR、AAA以及网管等各种业务数据的历史记录， 构建低价格、高性能的PB级别存储平台。 海量数据 超值存储 易用性强 平滑扩容 历史数据存储云可以作为一种新型的存储方案选择，充分利用其低价格和高性能的优势。 HIVE提供分布式的数据仓库，可以实现海量数据记录 的在线查询以及数据挖掘等服务，利用MapReduce的 并行处理架构，提供快速在线数据处理服务。 数据节点采用克隆方式，故障定位快，维护方便； HIVE JDBC兼容95%的SQL语法功能，开发快速。 可以增加任意个节点平滑扩容，而磁阵只能阶梯扩容。 数据仓库 在线服务 目录 并行计算应用——联机采集云 海量存储应用——历史数据管理 数据挖掘应用——目标客户搜索 Hadoop云平台技术要点 Hadoop云平台介绍 建设全省一级采集系统架构 提高管理水平和降低维护成本 全省集中 采集提速 脱机备份 实时监测 联机采集云可以同时满足上述四个业务驱动以及发展需求。 目前采集周期为15分钟或更慢 需要提速到5分钟或更快的频度 联机采集是CDR数据的前沿阵地 是业务实时监测/分析的最佳位置 云平台具备超值的存储能力 可提供半年以上的脱机备份 采集云是采用云技术来实现采集任务的并发执行以