Laxcus大数据管理系统.pdf

Laxcus大数据管理系统 (version2.0) Email: laxcus@163.com 摘要 Laxcus是一套大数据软件，运行在计算机集群上，执行大规模和超大规模的数据存储和 计算业务。这是一个全新和独立的产品，是以搜索引擎为框架原型，针对大数据应用的特点， 借鉴了大量数据库和中间件的产品理念，衍生出的一个全新架构，又经历数次修改提炼完善 而成。在使用上，它与关系数据库系统保持了高度的兼容和一致，实现了一站式的数据处理 服务，和与关系数据库的无缝对接。在技术上，是全体系的自主设计研发，自有知识产权， 主要涉及领域包括：网络的通信与组织、分布环境下的数据存储、计算和管理、灾难冗余和 容错、系统安全策略、人机接口、可编程分布任务组件开发规范等多种技术。Laxcus采用 Java/C++语言编写，支持多模式数据混合存储，用户可以选择以终端的交互方式、或者驱动 程序的嵌入方式接入系统，通过Laxcus数据描述语言和SQL语言进行操作。Laxcus部署简单 快捷，开放源代码，遵循LGPL协议，运行在Linux/Windows平台。 本文描述是Laxcus2.0版的内容。这个版本是在Laxcus1.x版本基础上，通过收集用户 使用情况，结合对系统长期运行观察、统计、总结后，发现其中存在的问题和不足，进行综 合性改进和深度优化的结果。新系统相较于旧版本，在磁盘数据存取、网络数据传输、分布 计算效能等多项关键指标上都获得明显的提升。同时，为更好地支持下一代超大规模数据计 算，以及大面积故障和超载时的容错问题，对原技术架构做了大幅度调整。改进后的测试表 明，新系统在网络可管理范围、数据处理能力、稳定性、可靠性方面都得到加强，目前已经 通过极限环境考核测试。其他的更新还包括对数据描述语言、分布任务组件、应用编程接口 的丰富和完善，这些改进能够使用户在管理使用Laxcus大数据系统，或者开发系统应用软件 的时候，更加容易操作和简单方便。 关键字: 集群、节点、安全、存储模型、数据块、FIXP协议、分布计算、数据构造、RPC、 SQL、同步、异步、任务组件。 1 Laxcus大数据管理系统架构图 目录 第1章 基础概述3 1.1 基于现状的一些思考3 1.2 产品特点3 1.2.1 以普通硬件为标准的动态可伸缩的容错处理4 1.2.2 弱中心化管理4 1.2.3 多集群的协同工作模式4 1.2.4 以支持大规模添加/检索为主，兼顾小规模删除/更新的数据处理4 1.2.5 数据即时存取5 1.2.6 SQL5 1.2.7 网络计算可编程接口5 2 1.3 架构5 1.3.1 TOP节点6 1.3.2 HOME节点6 1.3.3 LOG节点7 1.3.4 CALL节点7 1.3.5 WORK节点7 1.3.6 DATA节点7 1.3.7 BUILD节点7 1.3.8 终端8 第2章 数据9 2.1 数据块9 2.2 存储模型9 2.3 行级锁10 2.4 元信息11 2.5 内存模式11 2.6 快照和备份11 2.7 完整性检查12 2.8 数据优化12 2.9 数据构建1