大数据管理系统LAXCUS.pdf

目 录 (一) ：基础与数据 (二) ：通信、计算与安全管理 本文档使用 看云 构建 - 2 - (一) ：基础与数据 (一) ：基础与数据 原文出处 ：http///cn/articles/laxcus-introduction-part1 作者 ：梁祖邦 前言 LAXCUS是一套数据管理软件 ，应用于大规模数据存储和计算环境。这是一个独立和完整的产品 ，融合了 包括数据存储、网络通信、网络计算、数据安全、网络安全、任务调度、容错处理、自动化管理、人机交 互接口、应用开发等多方面的技术。LAXCUS采用JAVA语言编写 ，支持行/列两种数据存储 ，通过终端或 者应用接口嵌入方式接入 ，执行SQL和类SQL操作。产品布署使用快捷简单 ，遵循LGPL协议 ，开放源代 码 ，运行在LINUX平台。 1.1 基于现状的一些思考 1.2 产品特点 1.3 架构 2.1 数据块 2.2 存储模型 2.3 行级锁 2.4 元信息 2.5 内存模式 2.6 快照和备份 2.7 完整性检查 2.8 数据优化 2.9 数据构建 1.1 基于现状的一些思考 在过去十几年里 ，随着互联网络和各种新兴技术的快速发展 ，数字信息存量呈爆炸性增长之势。面对如此 庞大的数据 ，如何实现高效的存储和计算 ，通常采用的提高CPU性能和改用更大容量磁盘的做法 ，已经变 得越来越困难。在这种背景下 ，以网络和网络通信技术为依托 ，将分散在不同地理位置的计算机连接起 来 ，组成空间上分散、逻辑上统一的数据存储和计算集群 ，成为当前实现大规模数据处理的主要选择。 集群计算的优势在于 ：它强调总体的处理能力 ，每台计算机做为单个节点参与计算过程 ，承担其中一部分 计算任务 ，处理能力的强弱由全部节点共同决定。这种工作模式极大地发挥出网络的能量 ，使得单台计算 机的处理性能变得不再重要。并且由于网络的连接 ，每台计算机随时可以加入或者撤离计算过程。这种类 似计算机 “即插即用”的功能 ，使得集群在运行过程中可以动态地调整自己的计算能力 ，赋与了集群计算 近乎无限增长的可能 ，这是传统的集中式计算无法比拟的。同时由于不再追求单台计算机的处理性能 ，采 购硬件设备时 ，可以根据实际应用需求酌情考量 ，为节约成本投入提供了选择的空间。 本文档使用 看云 构建 - 3 - (一) ：基础与数据 但是必须看到 ，正如硬币的两面一样 ，集群计算在提供了前所未有的处理能力的同时 ，也有着它与生俱来 的许多问题。 首先由于连接的节点众多且分散 ，集群组织结构变得庞大。个体硬件品质良莠不一 ，网络线路、通信设 备、计算机之间的连接和通信过程存在着不确定性 ，硬件设备内部、设备与设备、设备与外界环境 ，彼此 互相交叉影响。在这样的条件下 ，保证每台设备完全稳定运行已无可能 ，解决集群组织不安定状态下的稳 定计算成为首要问题。 另外 ，与集中计算不同的是 ，集群的数据处理是一个分散的计算过程。它的前端受理大量的请求任务 ，然 后将这些任务分配到后端众多的计算机上去执行。一个高效并且合理的分布计算算法成为必须。算法需要 解决的问题包括 ：任务分配、过程调度、故障容错、数据筛选、数据平衡、数据汇总等诸多环节的工作 ， 最终形成与集中计算一样的处理结果。这个过程十分复杂。 数据管理益变得重要。在一个大规模的数据存储序列中 ，要保证完全正确的处理结果 ，任何单点上的数据 都不能遗漏。这需要感知每个数据的存在 ，确定数据的物理位置 ，能够验证数据的可用性和正确性 ，即使 在故障状态下 ，仍然需要确保计算过程的正常进行。这是对数据处理的基本要求。 更重要的是用户体验。没有人会喜欢一个复杂、繁琐、难以维护的系统。相反 ，一个人机界面友好、容易 操作的产品更容易受到用户青睐。这需要在产品设计时做很多工作 ，综合考量产品的应用范围、处理效 率、运营成本 ，以及用户的使用行为和习惯 ，做出必要的取舍 ，辅以技术实现 ，才能产生良好的使用体 验。 当能够提供的硬件基础设施已经固定 ，各种应用需求还在不断发展和变化 ，如何适应这种变革中的趋势 ， 以上种种 ，都是软件设计需要思考的问题。