大数据云计算与移动应用云计算技术概述.ppt

* * * * * * * * * * * * * * * * * * * * * Enter Title of Presentation Here Google Confidential * * * * Enter Title of Presentation Here Google Confidential * Enter Title of Presentation Here Google Confidential * Enter Title of Presentation Here Google Confidential * * 虚拟化的目标是实现IT资源利用效率和灵活性的最大化。 * * 1。根据业务的增长和资源的空闲情况灵活调度。 * * * * * * 云计算的热点问题 2010年，由于数据中心和远程通信网络的快速增长，使得用电量激增，从而对气候变暖产生极大的负面影响。 到2020年，数据中心将消耗的电力资源，比法国、德国、加拿大和巴西目前消耗的电力总量还要多。 绿色和平组织的报告 云计算的能源问题 Atlantic Wind Connection(大西洋风力传输，AWC)计划。总成本约50亿美元，Google将提供该计划37.5%的资金 Intel太阳能面板阵列充分吸太阳能可以产生10千瓦的电力，为数据中心提供部分的电力。 微软的节能措施 微软的节能措施 云计算的能源问题 云计算的能源问题 Google的节能措施 云计算的热点问题 云计算平台—阿里云 云计算的热点问题 云计算应用 Hadoop节点数：15000 最大Hadoop集群: 3000 节点 每天输入数据：10PB 云计算应用：复杂查询 云计算应用：淘宝网 50G统计汇总结果 千万量级数据查询请求 平均20.8ms的响应时间 1500节点，每日40000 JOB，处理数据1.5PB，凌晨2点结束，结果20TB 云计算应用：淘宝网 Source：淘宝网 剑英 《HBase简介与实践分享》 云计算的热点问题 云标准组织及方向 更多信息： 刘 鹏 gloud@126.com 中国云计算 中国大数据 * * * * * * * * * * * * * * 全球企业IT开销 Source: IBM Corporate Strategy analysis of IDC data, Sept. 2007 $0B 50 100 150 200 250 300 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 New Server Spending Server Mgt and Admin Costs Power and Cooling Costs 数据中心的规模经济性 项目 中型数据中心成本 特大型数据中心成本 比率 网络 $95 每 Mb/秒/月 $13 每 Mb/秒/月 7.1 存储 $2.20 每 GB/月 $0.40 每 GB/月 5.7 管理 每个管理员约管理140个服务器 每个管理员管理1000个服务器以上 7.1 不同地区电力价格 价格 地点 可能的定价原因 3.6美分 爱达荷州 水力发电，没有长途输送 10.0美分 加州 电力在电网上长途输送，湾区的输送线有限，加州不允许煤电 18.0美分 夏威夷 发电的能源需要海运到岛上 （千瓦/小时） 梦想抑或恶梦？ 云计算的经济性 更低的硬件成本 更低廉的电价 更低的管理费用 更高的利用率 （从10-15%到80%） * 云计算 = 平台 + 服务 支撑海量信息 处理的服务器和存储 连接数以万计 服务器的以太交换机 “云计算”的灵魂 — 云平台软件 各种应用软件和服务 — 业务与应用软件 云平台 云计算 云服务 * 基础设施服务- IaaS，Infrastructure as a Services 存储服务 网络服务 虚拟机服务 软件服务-SaaS，Software as a Service 办公应用 信息化应用 通讯应用 互联网应用 平台服务-PaaS, Platform as a Service 开发环境 运行环境 （Lib） 身份认证 云计算提供的服务类型 云计算技术体系结构 Google云计算关键技术 Google文件系统GFS(Google File System) 并行数据处理MapReduce 结构化数据表BigTable 分布式锁管理Chubby MapReduce BigTable GFS Chubby Google文件系统(GFS) Google48% MSN19% Yahoo33% 客户端 客户端 客户端 互为备份 管理节点 GFS主节点 GFS主节点