沈阳大学——浪潮云海大数据一体机产品白皮书详解.docVIP

浪潮云海大数据一体机 产品白皮书  目录 1. 产品介绍 2 1.1产品定位 2 1.2产品特点 2 2. 体系架构 3 2.1大数据一体机硬件组成 4 2.2大数据一体机网络拓扑 5 2.3大数据一体机软件架构 6 3. 应用场景 8 4. 关键技术特性 9 5. 技术指标 11  产品介绍 1.1产品定位 浪潮云海大数据一体机（Inspur In-Cloud SmartData Appliance 以下简称SDA或大数据一体机）面向行业大数据应用场景，是一体化数据处理的解决方案，采用新型技术体系架构，整合软硬件系统，采用全分布式大数据处理架构，平台能够随着客户数据的增长和业务的扩张而不断线性扩展，解决了传统架构的扩展瓶颈，集成计算单元、存储单元、通讯单元、管理单元、等核心模块，涵盖数据存储、数据处理、数据呈现等全环节，是金融、电信、公安、交通、卫生等各个行业用户大数据分析处理平台的理想之选。 1.2产品特点 新型技术体系架构 采用全分布式大数据处理架构，平台能够随着客户数据的增长和业务的扩张而不断增长，并且能够保持极高的线性度，解决了传统架构的扩展瓶颈，系统在扩展至120000核心时依旧保持0.8左右的扩展效率； 软硬一体化的系统 集成计算单元、存储单元、通讯单元、管理单元等核心模块，是对数据存储、处理、展现的全环节的解决方案，由浪潮统一开发，能够统一交付，集中管理，用户可以轻松完成； 全局优化的系统 浪潮进行全局优化性能等技术指标大幅提升，在性能、可用性方面有了重大提升。 16%：通过优化系统任务调度策略，动态调整任务执行资源，减少慢任务数量，任务执行时间平均缩短16%以上； 30%：引入Reed-Solomon算法，优化分布式散列数据布局，满足文件高并发和高带宽双重需求同时平衡数据冗余度，浪潮采用两副本加编码的方式相对三副本最大可实现30%空间节省； 50%：采用多级高速缓存，实现硬件加速。经测试，1TB数据排序测试整体访问性能提高50%； 系列化、产品化 针对视频等重载应用、商业智能分析应用、海量并发的轻量级线程类应用这三类应用场景。云海大数据一体机根据用户应用特点提供个性化解决方案； 国产化 浪潮可提供基于飞腾处理器、浪潮云谷系统等产品的全国产化方案；在敏感行业、关键数据，保障数据核心处理平台的自主可控； 专业化服务 从业务分析、应用移植、应用开发到运维服务的全环节服务保障。解决用户在实施分布式数据理架构面临的软硬件部署、二次开发等实际问题，帮助客户实现由传统数据仓库向新型大数据平台的平滑迁移。 体系架构 大数据一体机基于Apache Hadoop集群架构，由三个大的模块构成：底层基础架构基于浪潮的先进硬件平台，软件部分则采用浪潮的专有Hadoop发行版来提供海量数据的存储与处理能力，通过浪潮软件、硬件的彼此优化与整合，形成一套高性能的软硬一体的平台解决方案，并经过大量的测试调优来保证整体系统的兼容性、稳定性和可靠性。在软硬件之上，还架构了一个可视化的管理界面来帮助用户对一体机的硬件、软件进程进行统一的管理和控制。 2.1大数据一体机硬件组成 大数据一体机物理部署图（SDA30000主柜） 如上图所示，SDA硬件上主要由管理节点，数据节点，管理交换机，计算交换机，KVM控制器机柜等组件构成 一体机组件 说明 管理节点 采用2台高性能的2路，4路或8路服务器，用来执行集群中的文件访问管理，数据处理任务调度，节点性能监控和故障恢复等任务。两台服务器间互为冗余，实现管理节点的高可用性，保证集群可以持续对外提供服务。 数据节点 专用的2路2U存储服务器，除系统盘外，配置了12块大容量硬盘，单节点可以提供高达36TB的存储空间和192GB内存容量。数据结点数量可以按客户具体需求配置，并可灵活线性扩展。 管理交换机 对内提供24个10/100/1000M自适应电口，对外4个SFP非复用端口，交换容量为208Gbps(全双工)，包转发率51Mpps 计算交换机 对内提供24-48个万兆SFP+端口，对外提供4个40G QSFP+ 端口，支持冗余电源,支持FcoE接入，其中可支持 2/4/8Gbps FC 端口。交换容量1.28T,包转发率960Mbps KVM控制器 1U高度，可折叠式，整合17LCD液晶显示器、切换器、键盘及触控板于一体的抽拉式视频控制模块。 机柜 19″、42U专用机柜，最高静载1000kg；机柜两侧预留布线槽，强弱电分离布线，机柜上下方均可走线；前后门采用钢制网孔设计，保证前后通风，顶部有通风孔结构；1个承重托盘，支持并柜并带有并柜遮条；自带2个线缆槽，配置专业工业PDU,可选220V/380V供电环境 2.2大数据一体机网络拓扑 大数据一体机网络拓扑图 如图所示，大数据一体机具有两套