上海联通大数据平台规划方案选编.pptxVIP

2016年7月13日;目 录;大数据;大数据对电信运营商的应用价值体现;上海联通数据平台现状;5;;7;;每个应用需求的变化就是一场灾难。由于数据处理与业务的紧密关联可能需要对中间每个处理环节进行逐个调整。重新生成数据的周期也非常缓慢。;大数据使得现有的数据处理方法面临新问题; 因为在移动互联网和物联网上需要有新领域的突破，不同于传统通信业务分析特点，需要对内容等非结构化、大容量信息进行有效分析，传统的架构处理吃力。;目 录;上海联通大数据平台目标架构及定位;HDFS：分布式文件系统 有较强的容错性 可在x86平台上运行，减少总体成本 可扩展，能构建大规模的应用 HBase：非结构化NoSQl分布式数据库 基于分布式文件系统HDFS，保证数据安全 列式存储，节省存储空间 提供大数据量的高速读写操作 Hive：分布式关系型数据库 数据可保存在HDFS，可提供海量的数据存储 类SQL的查询语句，提供大数据的统计和分析操作，适合海量数据的批处理 通过MapReduce实现大规划并行计算 MapReduce：大规划并行计算引擎 可将任务分布并行运行在一个集群服务器中;Shared Nothing;数据分级存储原则;;源数据导入ETL，进行数据的清洗、转换和入库。;;20;21;22;谢谢！