新型硬件发展趋势及其对数据管理与分析的挑战.PDFVIP

新型硬件发展趋势及其对数据管理与分析的挑战 （来源：中国计算机学会公众号， 2018-03-20） 1 引言 数据管理与分析系统的发展离不开硬件和软件技术的进步。硬件 和软件是构成计算系统的两大要素，软件技术的发展既可以享受硬件 技术升级在性能提升方面带来的直接红利，但又受到硬件自身特点和 局限性的制约，在架构和系统设计中引入不得已的取舍。同时，软件 对于性能无止境的需求又反过来推动硬件技术的不断进步和革新。对 于数据管理与分析系统而言，硬件技术是载体支撑，决定了数据存取 和查询等处理性能的物理极限；软件的目标是优化算法与数据结构的 设计以提高软件与硬件的契合度，最大化硬件使用效率同时规避或减 少硬件固有的限制。一直以来，不论传统的“计算密集型”应用还是 大数据时代的“数据密集型”应用，都持续对底层硬件系统在访问延 迟、容量、带宽、能耗、性价比等指标上提出更高的要求。在多样化 的应用负载需求下，传统的数据管理与分析技术正在面临前所未有的 挑战。而大数据带来的挑战，本质上就是由现有的信息化基础设施的 处理能力在多个维度上都难以满足数据处理多样化需求之间的矛盾 所引起的。 信息化基础设施从广义上包含底层硬件环境与上层软件系统两 个层次。而上层软件系统从设计原则、架构选型、核心功能、策略模 式到优化技术，在很大程度上都是由当时的计算机硬件环境决定的。 现今，信息领域的硬件技术和环境正在经历巨大的变化，特别是高性 能处理器和硬件加速器、新型非易失存储器以及高速互联网络的出现 正在快速改变传统的数据管理与分析系统的底层载体支撑。这些新型 1 硬件有望突破整个计算体系的架构模式，改变上层软件的设计假设， 在提供更高物理性能的同时，也要求数据管理与分析的软件架构和相 关技术能够感知并适应新型硬件的特点。 2 新型硬件发展趋势 当前的计算机系统仍然广泛采用冯·诺依曼型体系结构，即以存 储为中心的数据访问和处理架构。近年来，硬件技术在存储器和处理 器两大核心部件以及网络连接上的发展取得了突破性进展，如图1 所 示，一系列高性能、全新架构、新特征的新型硬件不断涌现并逐渐成 为主流技术，成为未来计算机平台的硬件发展趋势。趋势表明，高性 能处理器和硬件加速器、新型非易失存储器、高速互联设备以及由它 们催生的具有丰富硬件上下文的异构计算微架构、以高速持久化为显 著特征的混合存储环境和支持远程直接数据存取的高速互联结构正 在显著改变传统的数据管理与分析系统的底层支撑载体[1-4]。 图1：新型硬件及环境 2 2.1 处理器技术发展趋势 处理器技术发展至今已经经历了四十多年的发展历史，其发展技 术路径经历了从提高主频为目标的Scale-up 方式到以增加核心数量 为目标的Scale-out 方式的显著转变。依据摩尔定律的指引，在串行 计算时代不断推高处理器的计算频率是提高计算机性能的最主要的 发展途径之一，同时，在处理器Scale-up 发展时期，指令级并行、 流水线、自动预取、分支判断、乱序指令执行、多级cache、超线程 等底层硬件优化技术由处理器硬件和编译程序自动识别和利用，数据 管理与分析系统可以透明地利用处理器的性能提升而直接获得收益。 但是受限于散热、功耗、指令级并行度以及制造工艺等因素，从半导 体技术发展角度而言 Scale-up 方式遭遇到了天花板，摩尔定律和 Dennard Scaling 法则在处理器技术的发展模式转向Scale-out 的多 /众核方式后才得以维系。 2005 年之后，高性能处理器技术正式迈入多核时代，多核并行 处理技术成为主流。虽然，更加丰富的硬件上下文显著增强了多核架 构下数据处理的并行能力，但是，软件不能依靠多核处理器技术的升 级而自动获得并行处理性能的收益，而是需要将传统的串行程序改写 为并行程序，并针对多核处理器共享LLC （Last Level Cache）的特 点而优化算法性能。随着处理器制程工艺的提高，多核处理器的性能 得到显著提升，如采用14nm 工艺的Xeon 处理器当前最多集成24 个 核心，支持高达3.07 TB 内存和85 GB/s 的内存带宽[5]。但这种x86 架构的处理器仍存在着集成度低、功耗高、价格昂贵等缺点，而且以 通用为主要设计目标、擅长串行和