现代通信技术-云计算.pptVIP

第6章 下一代网络计算——云计算 Elastic MapReduce UI Elastic MapReduce UI * 提纲 云计算概述 云计算体系结构 海量信息处理与MapReduce 云计算实例 * 平台描述 为充分利用高性能物理资源，提高资源利用率，为科学研究提供良好的科研平台，为各种复杂大规模应用提供高性能基础设施，打造针对高校的云计算平台 针对教学提供虚拟主机租用、云存储、云端软件等服务 针对科研提供高性能计算平台、弹性计算资源、虚拟存储等服务 * 平台特点 技术特点 大规模 虚拟化 高可靠性 通用性 高可扩展性 按需服务 极其廉价 支持VMware、KVM和Xen 提供强大的基于Web2.0的Web管理界面 提供针对不同层次应用的编程接口 资源系统监控 资源动态调度 端到端的服务质量和云管理 … * 平台逻辑架构 * BIT Cloud * 平台框架设计 物理资源虚拟化 基础设施即服务设计 平台即服务设计 软件即服务设计 * 物理资源虚拟化 * 基础设施即服务设计 * 平台即服务设计 – 基于Hadoop的高性能分布式并行计算平台 * 平台即服务设计 – 基于Hadoop的高性能分布式并行计算平台 * 平台应用场景 IaaS层应用 弹性计算 虚拟主机 教学环境虚拟主机服务 云存储 高性能流媒体点播 PaaS层应用 高性能分布式并行计算 海量信息处理 模式提取分析 大规模场景渲染 其他学科大计算量应用 科教云 SaaS层应用 邮件，选课，数字图书馆，信息搜索，教务管理，财务管理，远程教育 kvm Xen 3.0 Available from Xen Source () In association with University of Cambridge (http://www.cl.cam.ac.uk/Research/SRG/netos/xen/) Support for 64-Bit and 32-bit machines Supports IntelVT Linux support only, Windows expected later this year Open Source Product – One of the most actively maintained projects in the open source community $ - Free Target: 100 virtual OSes per machine Xen Architecture Domain 0 Domain U Hypervisor * 提纲 云计算概述 云计算体系结构 云计算关键技术 - 虚拟化 云计算关键技术 - MapReduce 云计算在北理 海量信息处理 你需要一个多大的硬盘？？ * * How much data? Internet archive has 2 PB of data + 20 TB/month Google processes 20 PB a day (2008) “all words ever spoken by human beings” ~ 5 EB CERN’s LHC will generate 10-15 PB a year Sanger anticipates 6 PB of data in 2009 640K ought to be enough for anybody. What is MapReduce? Data-parallel programming model for clusters of commodity machines Pioneered by Google Processes 20 PB of data per day Popularized by open-source Hadoop project Used by Yahoo!, Facebook, Amazon, … What is MapReduce Used For? At Google: Index building for Google Search Article clustering for Google News Statistical machine translation At Yahoo!: Index building for Yahoo! Search Spam detection for Yahoo! Mail At Facebook: Data mining Ad optimization Spam detection Example: Facebook Lexicon Example: Fa