数据立方体机——技术白皮书.docxVIP

数据立方云计算一体机产品白皮书■版权声明本文中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容，除另有特别注明，版权均属南京云创存储所有，受到有关产权及版权法保护。任何个人、机构未经南京云创存储的书面授权许可，不得以任何方式复制或引用本文的任何片断。目录数据立方云计算一体机产品白皮书1参考文档4硬件组件4软件组件4软件说明5软件规格说明5接口说明6产品应用7应用范围7应用说明7安装环境9使用手册10安装操作系统10安装hadoop11步骤1安装jdk11步骤2修改机器主机名11步骤3配置NFS与NTP12步骤4配置/etc/profile12步骤5配置/etc/hosts13步骤6配置SSH13步骤7配置conf/masters和conf/slaves 文件14步骤8配置ZooKeeper15安装DataCube15步骤1安装DataCube v1.015步骤2配置DataCube v1.017步骤3 DataCube的启动和关闭19步骤4安装DataIOService19步骤5安装jetty20数据立方云计算一体机管理系统21登录21集群管理21数据管理24文件管理26任务管理27告警管理28故障管理30联系方式30参考文档安装手册/Download.asp?id=1026数据立方云计算一体机安装手册使用手册/Download.asp?id=1026数据立方云计算一体机使用手册软件规格说明/Download.asp?id=1026数据立方云计算一体机软件规格说明成功案例说明/Download.asp?id=1026数据立方云计算一体机产品成功案例硬件组件QuantityItemManufacturerModel软件组件ItemVersionManufacturerComment数据立方(DataCube)1.0云创存储(cStor)软件说明云创存储--DataCube数据立方云计算一体机是一种基于Intel Xeon E5服务器平台的处理海量数据高效分布式的、软硬件集合的云处理平台，该平台可以从TB乃至PB级的数据中挖掘出有用的信息，并对这些海量信息进行快捷、高效的处理。平台支持100GBps以上量级的数据流实时索引，1s内响应客户请求，秒级完成数据处理、查询和分析工作。平台可以对入口数据进行实时索引，经过数据立方对数据进行分析、清理、分割后，将这些数据存储在云存储系统上，不仅在查询和检索这部分数据的时候具有非常高的性能优势,还可以支持数据仓库存储、数据深度挖掘和商业智能分析等业务。软件规格说明数据立方云计算一体机软件规格说明规格说明项目内容可管理的数据总量可高效管理超过万亿条的记录。实时索引的数据流量支持100Gbps以上量级的数据流实时索引，单节点数据入库索引速度可达10MB-20MB/s任意关键字段实时创建索引根据提供的表结构解析元数据，并根据提供的任意关键字段实时创建索引。可移植性Java语言实现，具有跨平台性，一次编程，任意操作系统都可运行。查询效率百亿条记录秒级响应，可支持对万亿条记录进行实时查询支持简单SQL组合查询采用和关系数据库混合模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库，可支撑各种类型的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业智能分析业务。负载均衡性根据机器负载自动进行负载均衡。拔掉或增加一台节点后，仍能均匀地向各处理节点分发数据。支持并发查询支持并发查询，查询请求都能正常下发执行、且都能正常返回结果数据准确性查询条件相同情况下，每次查询结果相同。稳定性系统连续运行7*24小时，无任何故障，所有周期任务均正常执行，且执行结果正确。可靠性没有单点故障，任意节点宕机，系统工作正常，可以继续进行数据处理和应用查询,不会影响分布式系统运行和查询结果的准确性。扩展性既可以在很小规模机器上跑,也可以在成千上万台的机器上运行，而且经过很简单的操作就可以把规模扩展到成千上万台服务器上,而且可靠性随着加入节点的增加成线性上升。分布式计算能力集群能增加节点、并且能正常执行查询任务，在流量没变、资源增加的情况下，增加机器前后，查询任务耗时按比例降低。支持对外接口提供专用API、Web访问和Web Services接口进行对外数据交互操作。监控功能提供web界面对分布式文件进行监控，支持查看、下载索引文件和元数据文件。软件接口说明接口名称参数用途单条、多条记录入库接口表名、记录用于根据表结构，插入对应的单条或多条记录带有记录的文件导入接口表名、文件路径用于根据表结构，导入带有记录的文件，将记录入库的接口查询接口时间戳、表名、其他查询条件（sql语句）用于根据时间戳、表名等查询条件，过滤出符合的记录单条、多条记录入库webservice接口We