虚拟化和大数据.pdf

大数据和虚拟化 孙春杰 • 2014/8/1 议程议程 大数据的好处 消除误解 为何要虚拟化 2 云计算:带来简便、优化的重大变革 1. 降低复杂性 2. 显著降低成本 3. 启动灵活敏捷的IT服务 简化运维简化运维 资金更多投入到增值业务中资金更多投入到增值业务中 满足业务需求满足业务需求 3 什么是大数据？  指的是所涉及的数据量规模巨大到无法通过目前主流软件工具，在合理 时间内达到截取时间内达到截取、管理管理、处理处理、并整理成为帮助企业经营决策更积极目并整理成为帮助企业经营决策更积极目 的的信息，特点： 1. Volume （大量性） 2. Velocity （时效性） 3. Variety （多样性） 什么是什么是 Hadoopp？ Hadoop 是设计用来在由通用计算设备组成的大型集群上执行分布式 应用的框架,不仅仅是一个用于存储的分布式文件系统。 Hadoop 实际上就是谷歌三宝的开源实现，HDFS （或GFS）为上层 提供高效供高效的非结构化存构化存储服务务，HBase （或BigTable）是提供供结构化构化 数据服务的分布式数据库，Hadoop MapReduce （或Google MapRe duce ）是一种并行计算的编程模型，用于作业调度。 一个能够对大量数据进行分布式处理的软件框架。 维护多个工作数据副本，确保能够针对失败的节点重新分布处理。 以并行的方式工作，通过并行处理加快处理速度。 能够处理 PB 级数据。 成本比较低，任何人都可以使用。 云中的大数据应用趋势 将大数据的工作负载运行或迁移到虚拟化的基础环境中； 继继承虚拟化的优点承虚拟化的优点。 虚拟化平台 MPPMPP DBDB HBaseHBase HadoopHadoop Hadoop 虚拟化平台 HBase MPP DB 这些企业都选择了虚拟化作为大数据基础平台 VMware 虚拟化平台 误解误解 • 虚拟机运行在SAN上，Hadoop却是运行在本地磁盘上的 • 虚拟机会带来额外负载，使得Hadoop性能降低很多 MV rehtOO e gg t a r poodaHH s o o t H S