云海insight旗舰版技术白皮书云海insight旗舰版技术白皮书浪潮电子信息产业股份有限公司.docx

云海IOP技术 云海IOP技术白皮书 云海Insight旗舰版 技术白皮书 浪潮电子信息产业股份有限公司 目 录 TOC \o 1-3 \h \z \u 一、综述 3 二、产品价值 错误!未定义书签。 三、总体架构 5 四、大数据中间件功能 6 1.内存数据库MemDB 6 2.分布式数据仓库MPP 10 3.分布式计算引擎HD 14 四、产品应用场景 17 五、运行环境要求 19 1.内存数据库MemDB要求 19 2.分布式数据仓库MPP要求 20 3.分布式计算引擎HD要求 21 六、应用案例 23 1.某省厅云平台 23 2.旅游行业案例 24 云海Insight旗舰版技术白皮书 云海Insight旗舰版技术白皮书 PAGE 8 一、综述 云海Insight旗舰版是包含了数个大数据中间件的产品套件，提供从GB到PB级数据在高并发访问、数据查询和分析处理等不同应用场景大数据处理的能力，帮助客户轻松构建数据采集、数据存储、数据处理、数据应用开发的整个大数据生命周期管理体系。 云海Insight产品系列包含内存数据库MemDB、分布式数据仓库MPP和分布式计算引擎HD。 由于行业业务的复杂性、多样性、数据量大、以及各种业务处理时间的不一致性，带来了大数据平台建设的巨大挑战，大数据平台仅靠单一的产品无法满足业务需求，通过多个产品的组合，发挥各个产品的优势，应对不同的大数据处理场景。 二、产品价值 产品体系化，降低选择难度 覆盖多种数据量级和应用场景的一体化产品体系和成熟解决方案，降低客户选择难度。 降低运行成本，提升资源利用率 基于工业标准的X86平台，摆脱对高性能服务器的依赖；资源按需分配，综合利用率高。 减少计算时间，提升业务效率 支持按需缩放集群规模；支持集群在线扩展，可实现数据存储、加载和查询性能的线性增长。并行处理架构、内存计算等多重机制保证数据加载、计算、访问等各个环节数据处理效率最大化。 提升系统稳定性，实现在线扩容 具备多层次的容错、自动检测和自动恢复机制，保证系统安全可用。支持集群在线扩展，可实现数据存储、加载和查询性能的线性增长。 三、总体架构 大数据中间件 云海Insight产品主要包含内存数据库MemDB、分布式数据仓库MPP和分布式计算引擎HD。 内存数据库MemDB是一个弹性伸缩的、提供事务支持的基于内存的分布式海量数据处理系统。 分布式数据仓库MPP是Shared-Nothing无共享架构的大规模分布式并行处理数据库。 分布式计算引擎HD是经过一系列调优和功能增强的Hadoop发行版。 中间件运维管理 平台提供了部署、监控、管理的可视化工具。 多类型访问接口 产品提供SQL、API、命令行、可视化界面多种操作方式。 多运行环境对接 运行环境支持标准x86平台，支持融合架构的大数据一体机，支持通过云海IOP统一申请中间件实例。 四、大数据中间件功能 云海Insight产品体系包含内存数据库MemDB、分布式数据仓库MPP和分布式计算引擎HD。其中分布式计算引擎HD的SQL解析器部分使用了分布式数据仓库MPP的模块。 1.内存数据库MemDB 内存数据库MemDB（InCloud MemDB）是一个弹性伸缩的、提供事务支持的基于内存的分布式海量数据处理系统，用于构建和加速需要超高速数据交互的、具有高度可扩展能力的应用系统，具备SQL读写能力，支持多地多中心级的广域网集群部署。InCloud MemDB可以提升数十倍的数据访问速度。InCloud MemDB提供了可视化的监控工具。 InCloud MemDB不是IO密集型的中间件，支持生产环境下在虚拟机上部署运行，在平台上可以快速的申请一个MemDB实例，MemDB也支持基于物理机的部署。因存储结构的变化和冗余存储的需要，MemDB运行所需内存容量约为源数据容量的10倍.。 通过云计算平台虚拟化技术，将若干x86服务器的内存集中起来，组成最高可达数十TB的内存资源池，将全部数据加载到内存中，进行内存计算。计算过程本身不需要读写磁盘，只是定期将数据同步或异步方式写到磁盘。分布式集群中保存了多份数据，任何一台机器故障，其它机器上还有备份数据，因此通常不用担心数据丢失，而且有磁盘数据作为持久化存储。InCloud MemDB支持把内存数据持久化到各种传统的关系数据库、Hadoop库和其它文件系统中。 InCloud MemDB具备以下特性： 分布式数据存储架构 InCloud MemDB整体采用Shared-Nothing无共享架构，支持满足高性能灾备和双活要求的部署策略，包括点对点（peer to peer）、客户端／服务端（Client/Server