高性能大数据平台方案.pptx

高性能大数据平台方案;大数据发展背景介绍 ;大数据（big data），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 ;曙光Xdata大数据分析平台;大数据发展遇到的问题;Infiniband网络介绍 ;作为一种开放标准的高带宽、高速网络互联技术，1999年被首次提出，得到主流服务器生产链上厂商的一致追捧 ，但由于协议、软件支持、最初定位问题等，导致应用受到限制，包括Intel等厂商一度撤出投资。 2004年调整定位，定位于存储网络、计算网络的应用，软件方面成立开源的OpenIB组织，甚至推出了IP over InfiniBand的协议转换，InfiniBand又开始得到欢迎。 InfiniBand技术不是用于一般网络连接的，它的主要设计目的是针对服务器端的连接问题的。因此，InfiniBand技术主要应用于服务器与服务器（比如复制，分布式工作等），服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN， WANs和Internet）的通信。 ;高速度 目前推广的FDR技术，带宽最高56Gb，网络延迟小于0.7us。 RDMA（远程直接内存存取） 通过一个虚拟的寻址方案，让服务器知道和使用其他服务器的部分内存，无需涉及操作系统的内核。 传输卸载 传输卸载把数据包路由从OS转到芯片级，节省了处理器的处理负担 IB路由网关 通过网络转换可以将IB网络转换成以太网，实现IB网络与外网的互联。 ;InfiniBand技术未来发展;组网方案介绍 ;网络架构示例;组网技术介绍;在该网络设计中，所有的网络设备的连接均采用冗余设计。 每台服务器配置两个IB端口，IB端口通过冗余方式分别与两台不同的汇聚交换机相连； 通过高度冗余的二层交换机将汇聚交换机连接为统一的子网，最大限度的提高系统的冗余度和节点间通信带宽限制； IB网关设备底层各自与二层交换机相连，上层分别与一台路由器连接，上层的两台路由器通过VRRP技术实现IB网关的冗余连接，保证当任意一台网关或路由设备出现故障时，底层服务器均有链路连接到上层网络。;单机柜服务器连接;RDMA技术性能加速;方案优势分析 ;性能优势分析;对比传统以太网络;成本对比;案例介绍 ;某电信运营商大数据平台建设;;内蒙某运营商IB组网建议