大数据平台存储节点.doc

1、大数据平台内存计算节点 序号 技术指标 要求 投标响应 1.1 *数量 1台服务器，2个计算节点 1.2 硬件配置要求 *1.2.1 配置要求 原厂软硬件一体化设备，大数据软件和硬件为同一家制造商。 要求配置企业级机架式（非刀片式）服务器，模块化架构，可堆叠。通过软硬件一体化装置实现计算、存储、网络、虚拟化和应用融合的紧密集成的大数据平台。 每套设备的技术要求如下： 平台要求：高度2U包括2个服务器节点，每个服务器节点: 支持≥2颗Intel Xeon E5-2600v3、v4系列处理器每个节点最大8根内存插槽，最大支持512G内存，每个节点最大支持6个3.5寸SAS/SATA硬盘（支持SAS Raid0，1，5，6），双千兆网口，每个节点最大支持2个PCI-E X8 3.0 插槽2个，PCI-E X8 1个，1280W冗余电源 处理器: 每个服务器节点实配≥_2个64位8核处理器，主频≥__2.1_GHz 内存：每个服务器节点实配≥_128_GB DDR4，内存主频≥2133MT/s SSD存储：Intel PCIE-SSD加速卡2TB 硬盘：每个服务器节点实配至少_3 块4T 3.5 7200RPM SAS企业级硬盘 1.2.2 配置要求 每个独立物理计算节点的技术要求如下： 系统扩展性和扩容性 采用横向扩展的架构，可随着节点的增加而使得CPU、内存、存储、网络等均在一种平衡模式上增加，确保扩展没有瓶颈。支持在线升级，保证随数据存储和计算需求的增长而平滑升级。平台由多个单机组成的大数据集群架构，所有组件可选配万兆以太网或者Infiniband网络或者千兆以太网互联。 为保证平台7×24小时连续可用性，系统必须支持在线扩展，系统扩展时不需要停机，系统扩展时，平台整体性能保持基本同比增长 关键应用的高可用性 采用工程化设计，可提供高级别的高可用性。所有故障类型均可得到防护，包括磁盘、 服务器、网络等简单故障，以及站点故障和人为失误等复杂故障。拥有完整的冗余的硬件保护，包括冗余的供电电源、冗余的风扇等。 支持PCIE-SSD闪存加速 允许用户将频繁访问的表数据保存在SSD中缓存中，同时不常访问的数据仍保存在磁盘中。这种方式兼具SSD 的高性能与磁盘的大容量和低成本。允许用户任意 指定数据库表、分区和段的数据驻留在SSD上。在SSD闪存中实现列式存储，更进一步提高SSD闪存加速效果，在TPC-DS基准测试中性能提升10倍以上。提供第三方测试机构出具的测试报告。 通过中断优化、内核优化、BIOS优化、NUMA优化实现分布式处理能力提升，提供相应的功能证明材料。 为自主研发的产品，拥有独立知识产权，提供相应的证明材料。 1.2.3 配置项完整性承诺 投标人须承诺保证根据招标人技术需求所做出的设备配置项的完整性，包括但不限于提供本标段设备连接所有一切电缆、接头、配件、机柜，以及设备微码、驱动程序等软件。 如果缺漏或不符，应免费补充或更换。 1.3 1.3.1 软件配置要求 投标大数据平台的软件产品需具备：两年以上(含两年) Gartner数据仓库相关魔力象限入围的发行版厂商，并提供证明文件。 投标大数据平台的软件产品需具备：中华人民共和国国家版权局自主知识产权的计算机软件著作权等级证书，并提供证明文件。 大数据平台软件基于Apache开源社区，保持开放性，并在可靠性、安全性、管理性、高效性方面进行了增强。 采用Spark作为内存计算引擎，支持基于内存或者SSD固态硬盘高IO特性优化的列式存储，避免IO带来的延时以提高数据扫描速度。 提供基于SQL，面向海量数据进行任意维度的内存计算交互式分析能力。 *支持在分布式列式存储上建立局部索引，提供OLAP能力，为大表创建索引，支持多维数据灵活分析。 采用全局索引，快速找到精确查询的记录，精确定位数据。 支持物化视图技术，在查询分析时通过MBO进行执行计划优化，提升交互式分析性能与并发度。 *提供内存计算的数据集市开发工具，支持拖拽方式设计Cube模型，支持维度/度量/层次结构/级别/属性，支持星型模型、雪花型模型。 *提供全向量化的执行引擎，通过向量化操作可以降低解析传输等操作的开销，提升系统并行化效率，加速内存计算交互式分析业务场景。 提供分布式存储框架，避免各个存储引擎在高可用、接口抽象、运维等方面的重复，能够对接各种专用存储引擎。 产品具有高性能特性，能对亿级数据进行任意维度、任意过滤条件的聚合分析，秒级响应，同时具有100以上的并发能力。 *在大数据内存计算的数据管理方面，提供多存储层级支持，能够将应用表建立在不同IO读写速度的不同介质上，包括磁盘、SSD固态硬盘和内存，其中建立的非易失存储上的数据表在整个系统重启后能保证数据不丢失。 *投标人需承诺，软件功能科研根据大数据研究所进