云计算与数据中心建设-2云计算中的并行数据处理.pptxVIP

云计算中的并行数据处理1第1页，共185页。 目录背景并行处理硬件系统并行处理软件系统消息传递接口大规模异构并行架构2第2页，共185页。 1. 背景物联网、云计算=》？麦肯锡:“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” 3第3页，共185页。 BigDataMay 2011，麦肯锡 ，Big Data:The next generation frontier for innovation, competition and productivity 2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”， 2012年12月24日 《人民日报》发表《当“大数据”来敲门》 4第4页，共185页。 国内2012年9月《计算机学会通讯》刊登了李国杰院士等撰写的学术界谈大数据的专题文章 《人民日报》发表《当“大数据”来敲门》等相关文章 第一届中国云计算大会 ，2009年5月主办单位：中国电子学会第五届，指导单位:工业和信息化部、国家发展和改革委员会、科学技术部 5第5页，共185页。 领域搜索引擎电子商务 （淘宝网，）生物天气预报核物理 3D动漫图像处理6第6页，共185页。 遥感大数据“十二五”期间的目标100颗卫星在轨稳定运行4月26日，我国高分辨率对地观测系统首发星“高分一号”成功发射 2012年，我国首颗高分辨率测绘卫星“资源三号”在太原卫星发射 ；每天接收、处理和存储的数据达到1790GB NASA在2011 年10 月1 日至2012年9 月30 日期间统计EOSDIS 平均每日数据存档增长为6.4 TB/d, 终端用户平均每日分发数据量为17.1TB/d, 总存档数据量达7.4 PB.7第7页，共185页。 遥感的数据处理平台加拿大PCI Geomatica 美国的ENVI 美国ERDAS公司的ERDAS IMAGING 法国的像素工厂(Pixel Factory) 中国测绘科学研究院研制的PixelGrid 8第8页，共185页。 并行遥感数据分析ESRI provides several cloud-based GIS solutions: ArcGIS Server on Amazon EC2, 云检索? ?云存储?云订购 ?云服务?云发布9第9页，共185页。 IBM超级计算机再次战胜人类 大数据分析由IBM和美国德克萨斯大学联合研制的超级计算机“沃森”(Watson)近日在美国最受欢迎的智力竞猜电视节目《危险边缘》中击败该节目历史上两位最成功的选手肯-詹宁斯和布拉德-鲁特，成为《危险边缘》节目新的王者。Watson由90台IBM Power 750服务器和DeepQA分析软件组成，（2880 cores and 16 Terabytes of memory ）10第10页，共185页。 技术分析Watson通过摄像头拍下屏幕上的文字，然后进行光学识别，得到以文字而不是图像形式存储的题目文本：信息检索能力+信息的提取以及分析+自动推理+Natural Language Processing watson需要一个语音合成引擎将这个答案的文本转换成语音并播放出来就可以了。 11第11页，共185页。 大数据与云计算 以“大数据大带宽推动云计算应用与创新”为主题的第五届中国云计算大会 在以客户为中心，来构建大网络和大数据，最终以云计算服务模式来交付，以达到最终的愿景：即正确的时间、精确的位置、适当的方法和终端，让客户得到所需的服务。” 采集存储分析12第12页，共185页。 大数据与云计算13第13页，共185页。 目录背景并行处理硬件系统并行处理软件系统消息传递接口大规模异构并行架构14第14页，共185页。 世界Top50015第15页，共185页。 IBM Sequoia(红杉) compute nodes ：32*16*2*96=9830416第16页，共185页。 国内Top10017第17页，共185页。 天河一号 103个机柜、占地面积近千平方米、总重量155吨 ，每年电费可高达1800万元 –计算结点B(Intel XeonEP+NVIDIA GPU)：7168个，含14336个CPU、7168个GPU；–点点通信带宽40Gbps ；延迟1.2us –总容量为1PB；18第18页，共185页。 国产三台千万亿次机 名称完成时间研制单位主要特点天河1号2010年10月国防科大、浪潮公司等采用异构混合体系结构，部分采用国产飞腾处理器，峰值性能每秒4700万亿次，实测Linpack性能2507万亿次，在2010年11月中发布的世界高性能计算机TOP500榜中排在第一位。曙光60