集群存储解决方案.docxVIP

项目存储系统解决方案北京龙存科技有限责任公司2014年7月赵琳 电话录第一章需求分析41.1 背景41.2 功能需求分析51.3 存储系统性能需求分析71.4 存储系统可靠性分析81.5 可维护性分析81.6 扩展性分析91.7 分级存储9第二章存储系统技术架构可行性分析102.1 传统的存储解决方案102.2 FC-SAN112.3 NAS132.4 集群存储15第三章存储方案设计163.1 整体方案架构163.2 LoongStore集群存储架构介绍173.3 龙存方案特点193.4 龙存集群存储系统功能说明213.5 龙存方案与SAN对比233.6 龙存方案与集群NAS对比25第四章方案相对优势264.1 方案特点264.2 系统设计原则284.3 方案优势对比294.4 LoongStore集群存储系统功能特点：324.4.1龙存产品逻辑架构图344.4.2海量数据存储344.4.3海量文件高效检索344.4.4高并发访问354.4.5高数据读写性能354.4.6动态在线扩展364.4.7高可靠性364.4.8数据动态迁移384.4.9数据隔离与交互394.4.10系统可维护性394.4.11监控系统394.4.12分级存储机制404.4.13 POSIX接口414.5方案构成424.5.1 硬件报配置及：424.5.2软件配置：44第五章服务承诺及服务保证455.1服务承诺455.2服务条款及保证45第六章总结47需求分析背景随着系统信息化建设的不断发展，并向其它行业、领域的不断扩展，数据量的增长已达到前所未有的速度，以文件为单位的非结构化数据不管是单个文件大小或在文件总数据量的增长上都非常迅速。“大数据 (Big Data)”时代已经到来，针对于大数据时代存储需求，除了如何存储管理大数据以及海量的文件数量之外，更为重要的是根据应用的访问特点在保证数据安全性的同时进行简易化合理的数据存储管理以及提高存储系统读写性能，提升数据处理效率，将存储系统的价值发挥到最大。根据系统信息化的发展趋势和未来走向，系统信息化需要打破传统观念束缚，提供数据存储整体解决方案，充分的发挥数据处理与硬件服务器的能力，降低资源浪费，提高科研协作效率。同时，存储系统也可支撑起系统其它机构的数据存储，实现多种应用的海量数据统一的存储与按需分离的管理，提升、计算效率、保证数据的安全性，完全实现科研信息化的构想。功能需求分析功能需求全局共享存储系统需要满足全局文件共享功能，让所有系统都可以看到文件统一试图，实现全局共享访问，方便运维管理的同时，提供数据按需分发分享机制；数据存储隔离功能架构统一存储的同时，由于各个业务系统之间存在私密文件，所以存储系统需要满足统一存储池需求的同时，为用户提供按需数据分离的存储需求，实现不同系统之间按需设置数据隔离功能；兼容POSIX接口存储系统需要完全兼容POSIX接口，可以兼容所有标准应用，即使用存储系统可以像使用本地硬盘一样，方便业务应用能够无缝上线使用，无需定制开发专用接口；负载均衡机制存储系统需自带负载均衡机制，在实现网络负载均衡的同时，将所有数据读写压力平均分配到服务器所有硬盘中，实现所有磁盘的压力均衡，将存储服务器以及网络的整体性能发挥出来，屏蔽掉由于集群规模大的时候由于压力分配不均衡造成的存储服务器热点；在线升级功能存储系统需要满足在不影响业务系统的正常运转的情况下对存储系统后端进行硬件升级，方便在硬件更新换代之后可在线动态的将所有存储介质进行更新，屏蔽掉由于硬件老旧而无法在线更换为应用系统造成的不便。细粒度操作功能存储系统可对存储系统中所有磁盘进行按需操作，防止当系统出现不稳定硬盘时无法进行合理更换，即存储系统可以按照磁盘IO进行磁盘级别的检测，可根据硬盘的状态进行禁止写入、恢复数据等功能，实现动态的细粒度管理机制，随时可以对系统内的任意硬盘进行处理；权限管理功能存储系统需要自有一套存储权限管理机制，可满足划分用户对目录的操作权限，以及禁止写入禁止重命名等操作，在防止误删除情况发生的同时，防止泄密情况发生；目录容量限制功能存储系统需要对每个目录进行容量写入限制，一旦超过限制写入容量即像本地硬盘一样无法继续进行数据写入，且在限制写入的同时可以自由进行删除操作，方便运维人员对整体存储系统的规划与管理，根据不同用户对不同空间的需求进行定制化分配使用空间。存储系统性能需求分析基于存储局域网技术，为满足数据存取需求和运行于其上的应用计算系统、查询检索系统、以及数据分析系统等的工作要求，必须强化数据存储核心，选择集群存储服务器与网络架构。其基本性能需求分析如下：性能扩展：在存储系统中，处理器主要完成I/O处理、cache控制管理、数据传输控制以及一些智能化的软件功能，处理器的能力直接影响到整