大数据和硬件教材.ppt

* 芯片辅助虚拟化：AMD PK 英特尔 在过去的近20年间，X86处理器的核心指令集没有什么变化，但AMD和Intel却在处理器中加入了许多创新功能，如64位内存扩展技术、图像处理指令、浮点运算指令以及多核心技术等等。2009年，AMD和Intel又在CPU中加入了芯片辅助虚拟化技术，这一创新将虚拟化从梦想推向现实。但从架构上来说，传统的X86平台并不是为支持多操作系统并行而设计的。因此，AMD和Intel需要重新设计CPU，增加虚拟化特性，以解决上述问题。? * 虚拟化技术与多任务以及超线程技术是完全不同的 多任务是指在一个操作系统中多个程序同时一起运行，而在虚拟化技术中，则可以同时运行多个操作系统，而且每一个操作系统中都有多个程序运行，每一个操作系统都运行在一个虚拟的CPU或者是虚拟主机上；而超线程技术只是单CPU模拟双CPU来平衡程序运行性能，这两个模拟出来的CPU是不能分离的，只能协同工作。 * * * * * * * 大数据硬件技术 * 大数据和硬件 基于大容量、高密度的SATA硬盘 通过hadoop等开源软件构建分布式文件系统 提供POSIX化的API接口构建大数据处理平台 将计算能力和存储能力结合在一起的存储服务器 * 大数据处理的数据库平台 特别是分析挖掘类应用已经逐步走向列型数据库，而不再是传统关系性数据库的行型数据库。 比如Sybase IQ就是一种高性能列数据库，适合OLAP（联机分析处理）应用，具有较强的扩展性。 硬件架构上一般采用高性能磁阵加高密度服务器阵列方式组建。 * 大数据应用模型硬件方案 经过软硬件整合的大数据处理平台，诞生一体机的硬件形态。比如Oracle公司的Exadata、IBM的Netezza 另外一种一体机形式则采用了硬件定制化方式，也有较大的市场空间，就是SAP公司的HANA数据库。 * 现状及未来 大数据是一种以数据为中心的数据密集型技术，现有的以计算为中心的技术难以满足其需求。 目前对大数据处理的优化都是基于传统的内存-磁盘访问模式，数据处理的关键“数据I/O瓶颈”一直存在。 未来随着硬件新器件和新材料的发展，如相变材料、阻性RAM等逐步成熟商用，将使内存容量大、速度快且不再挥发，基于内存计算的大数据处理技术将蓬勃兴起。 * 数据中心存储技术的演变之路 传统的直接连接存储(DAS)比较简单，只运行内部需要的任务 后来慢慢变成了笨重、庞大、昂贵的存储附加网络/网络附加存储(SAN/ NAS)系统 近些年来，由于诸多技术进步，进入下一个阶段：虚拟化存储 * 重大的技术进步 Hadoop、Cassandra及其他分布式方法，这些新技术可以简化管理拥有诸多节点的集群这一任务。 比如说，需要大量处理器资源的复杂的数据分析工作负载现在可以分布在多个节点上。 此外，超融合系统也引入了新的分布式存储技术，用到了简单的卷和固态硬盘(SSD)。 * 现代的应用程序架构 SSD：一块磁盘就能获得同样的工作负载性能 10Gb网络 超融合和分布式存储：消除了RAID控制器。在超融合基础设施中，计算、存储和网络等子系统整合到同一个设备中。 * 现代的应用程序架构 通过将固态硬盘卷连接至服务器，我们就能做到，数据中心的操作系统软件足够智能、足够快速，能够与该服务器在集群中的其他服务器共享数据和容量。 可以依赖10Gb网络来回传输数据块，而之前数据块要发送到外部存储设备。 * 现代的应用程序架构 它们可以在几个节点之间同步传输这些信息，保存几个副本，同时针对合适的区域实行重复数据删除和压缩等操作。 存储快照和复制功能在服务器自身里面已被启用，不需要第三方干预或专用网关服务器。 * 云计算 在数据中心存储技术的发展过程中，客户和IT管理人员对云技术已变得非常熟悉。比如说，如果你问他们云存储具有什么样的价值，他们可能告诉你，云以一种弹性、可扩展、按需提供的方式，提供了所需的存储空间和计算能力。你不会听到他们提到后端磁盘厂商，因为它们在云环境下根本无关紧要。云计算相当于一种新语言，用户已准备接受这种新语言，欢迎云理念。 * 云计算 在公有云和私有云，用户们在寻找可以轻松管理资源池的智能软件。 数据中心存储技术的演变之路始于只有一台服务器的连接存储，如今进化到一切资源都合并到特定孤岛的阶段。现在，我们看到以前的方法卷土重来，不过由于种种技术进步，这回一切显得更自然、更高效。 * 什么是硬件虚拟化 虚拟化：从简单入手 硬件虚拟化：虚拟化技术的革命 纯软件的虚拟化技术 * 虚拟化：从简单入手 虚拟化是一个广义的术语，是一个为了简化管理，优化资源的解决方案。如同现在空旷、通透的写字楼，整个楼层几乎看不到墙壁，用户可以用同样的成本构建出更加自主适用的办公空间，进而节