云计算技术与大数据处理技术.pptx

云 计 算 与大数据并行处理技术;主 要 内 容;第 一 部 分云计算与大数据技术简介;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;什么是云计算？ Cloud Computing, Utility Computing, Service Computing…… 通过集中式远程计算资源池，以按需分配方式，为终端用户提供强大而廉价的计算服务能力 工业化部署、商业化运作的大规模计算能力 一种新的、可商业化的计算和服务模式 计算能力像水电煤气一样，按需分配使用 资源池物理上对用户透明就像在云端一样 ;云计算概念的由来;云计算的发展目标;云计算的主要特点;云计算的分类;云计算硬件平台 ;云计算的分类;云计算的分类;云计算发展的推动力;云计算发展的推动力;云计算发展的推动力;云计算发展的推动力;云计算发展的重要性;云计算发展的重要性;云计算发展的重要性;云计算发展的重要性;云计算发展现状与趋势;Google Cloud Infrastructure;;租用案例1 2007年，美国纽约时报租用Amazon云计算平台，用于将1851-1922年纽约时报的1100万篇报刊文章转换为PDF文件,供读者上网免费访问。 共租用了100个EC2节点，运行了24小时，处理了4TB的报刊原始扫描图像，生成了1.5TB的PDF文件。 每节点每小时费用为10美分，整个计算任务仅花费了240美元(100节点 x 24小时 x $0.10)！ 如果用自己的服务器，将需要数月和多得多的费用！ ;09:16;09:16;Microsoft Cloud Services(Window Azure，私有云平台管理和服务软件);IBM 云计算方案(私有云计算平台管理和服务软件);其它国内外IT企业云计算研发 除以上几家全球著名的IT企业外，其它著名IT企业如Cisco、HP、EMC、VMWare等，都在大力推进云计算技术和系统研发。 国内各大著名IT企业，如中国移动、中国电信、中国联通、阿里巴巴、腾讯、百度、万网等，都在大力推动云计算技术和系统研发。 尤其是著名的网络设备制造商中兴通信和华为，正在开始从传统的网络电信设备制造向计算技术领域转移，他们把云计算作为实现重大战略转移的一个重大契机;中国移动Big Cloud;阿里巴巴“飞天”云计算平台;中兴通信;中兴通信;云计算发展现状与趋势;;云计算系统的组成;云计算的关键技术;云计算的关键技术;云计算的关键技术;云计算的关键技术;Wiki百科：big data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools 大数据意指一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集 IDC报告：Big data technologies describe a new generation of technologies and architectures, designed to economically extract value from very large volumes of a wide variety of data, by enabling high-velocity capture, discovery, and/or analysis. 大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值;大数据处理技术的重要性;未来10多年数据将急剧增长 IDC研究报告《Data Universe Study》 提出“数据宇宙”的说法描述海量数据;大数据处理技术的重要性;美国联邦政府发布大数据研发专项研究计划;;;大数据将带来巨大的技术和商业机遇 ;应用数据规模急剧增加，传统计算计算面临严重挑战 中国移动江苏省电话通联记录(CDR)数据每月达0.5-1PB，而整个中国移动每月则高达7-15PB数据；如此巨大的数据量使得Oracle等数据库系统已经难以支撑和应对 南京市公安局320道路监控云计算系统，数据量为三年200亿条、总量120TB的车辆监控数据 中国深圳华大基因研究所成为全世界最大测序中心，每天产生300GB基因序列数据（每年100TB） 百度存储数百PB数据， 每天处理数据10PB 淘宝存储14PB交易数据， 每天新增数据40-50TB