上海联通大数据平台规划方案.pptxVIP

2021年5月20日;目 录;大数据;大数据对电信运营商的应用价值体现;上海联通数据平台现状;5;;7;;每个应用需求的变化就是一场灾难。由于数据处理与业务的紧密关联可能需要对中间每个处理环节进行逐个调整。重新生成数据的周期也非常缓慢。;大数据使得现有的数据处理方法面临新问题; 因为在移动互联网和物联网上需要有新领域的突破，不同于传统通信业务分析特点，需要对内容等非结构化、大容量信息进行有效分析，传统的架构处理吃力。;目 录;上海联通大数据平台目标架构及定位;HDFS：分布式文件系统 有较强的容错性 可在x86平台上运行，减少总体成本 可扩展，能构建大规模的应用 HBase：非结构化NoSQl分布式数据库 基于分布式文件系统HDFS，保证数据安全 列式存储，节省存储空间 提供大数据量的高速读写操作 Hive：分布式关系型数据库 数据可保存在HDFS，可提供海量的数据存储 类SQL的查询语句，提供大数据的统计和分析操作，适合海量数据的批处理 通过MapReduce实现大规划并行计算 MapReduce：大规划并行计算引擎 可将任务分布并行运行在一个集群服务器中;Shared Nothing;数据分级存储原则;;源数据导入ETL，进行数据的清洗、转换和入库。;;20;21;22;谢谢！;1、Genius only means hard-working all ones life. (Mendeleyer, Russian Chemist)? 天才只意味着终身不懈的努力。20.8.58.5.202011:0311:03:10Aug-2011:03 2、Our destiny offers not only the cup of despair, but the chalice of opportunity. (Richard Nixon, American President )命运给予我们的不是失望之酒，而是机会之杯。二〇二〇年八月五日2020年8月5日星期三 3、Patience is bitter, but its fruit is sweet. (Jean Jacques Rousseau , French thinker)忍耐是痛苦的，但它的果实是甜蜜的。11:038.5.202011:038.5.202011:0311:03:108.5.202011:038.5.2020 4、All that you do, do with your might; things done by halves are never done right. ----R.H. Stoddard, American poet做一切事都应尽力而为，半途而废永远不行8.5.20208.5.202011:0311:0311:03:1011:03:10 5、You have to believe in yourself. Thats the secret of success. ----Charles Chaplin人必须相信自己，这是成功的秘诀。-Wednesday, August 5, 2020August 20Wednesday, August 5, 20208/5/2020 6、Almost any situation---good or bad---is affected by the attitude we bring to. ----Lucius Annaus Seneca差不多任何一种处境---无论是好是坏---都受到我们对待处境态度的影响。11时3分11时3分5-Aug-208.5.2020 7、Although the world is full of suffering, it is full also of the overcoming of it.----Hellen Keller, American writer虽然世界多苦难，但是苦难总是能战胜的。20.8.520.8.520.8.5。2020年8月5日星期三二〇二〇年八月五日 8、For man is man and master of his fate.----Tennyson人就是人，是自己命运的主人11:0311:03:108.5.2020Wednesday, August 5, 2020 9、When success comes in the door, it seems, love often goes out the window.-----Joyce Brothers成功来到门前时，爱情往往就走出了窗外。11:038.5.202011:038.5.202011:0311:03:108.5.202011:038.5.2020 10、L