BeeGFS在高性能计算的应用.pdf

BeeGFS 在高性能计算的应用 1 ThinkParQ 成立于 2013 年底， 由 BeeGFS 背后的一些关键人物组成， 为 BeeGFS 客户提供专业的支 持，服务和咨询。 BeeGFS 原名为 FhGFS ，是由 Fraunhofer Institute 为工业数学计算而设计开发，由于 在欧洲和美国的中小型 HPC 系统性能表现良好，在 2014 年改名注册为 BeeGFS 并受到科研和商业的广 泛应用。 BeeGFS 既是一个网络文件系统也是一个并行文件系统。客户端通过网络与存储服务器进行通信 (具 有 TCP/IP 或任何具有 RDMA 功能的互连，如 InfiniBand ，RoCE 或 Omni-Path ，支持 native verbs 接 口) 。通过 BeeGFS 添加更多的服务器，其容量和性能被聚合在单个命名空间中。 BeeGFS 是遵循 GPL 的“免费开源”产品，文件系统没有许可证费用。无论谁想要自己使用，都可 以从 下载并安装使用。由 ThinkParQ 提供专业支持，系统集成商可以为客户构建使 用 BeeGFS 的解决方案。 BeeGFS 操作系统兼容性 BeeGFS 具备良好的兼容性，支持包括 x86 ，x86_64 ，ARM 和 OpenPower 等硬件平台和 RHEL 、 Scientific Linux 、CentOS 、SuSE Linux Enterprise Server 、SuSE Linux Enterprise Desktop 、OpenSuSE 、 Debian 和 Ubuntu 在内的 Linux 操作系统版本。 BeeGFS 系统架构 BeeGFS 实现了 ObjectData 和 MetaData 的分离。 ObjectData 是用户希望存储的数据，而 MetaData 是包括访问权限、文件大小和位置的“关于数据的数据”， MetaData 中最重要的是如何从多 个文件服务器中找到具体对应的文件， 这样才能使客户端获取特定文件或目录的 MetaData 后，可以直接 与 ObjectData 服务器对话以检索信息。 2 BeeGFS 可以面向需要大型或快速存储的每个人服务， 如传统领域是高性能、 高吞吐量计算和大型研 究数据。 Object Storage Servers 和 MetaData Servers 的数量可以弹性伸缩。因此，可以通过扩展到适 当数量的服务器来满足不同性能要求。 BeeGFS 是一个基于 Linux 的文件系统， BeeGFS 所有的部分 (如客户端，服务器 )都在 Linux 操作 系统下运行， 到目前为止还不支持其他平台。 搭建一套 BeeGFS 至少需要管理服务器 (MS) 、对象存储服务 器 (OSS) 、元数据服务器 (MDS) 和文件系统 Client 四个主要组件和有两个守护进程。 Helper-daemon 守护进程， 文件系统客户端需要一个 “helper-daemon ”才能在客户端上运行。 Admon 守护进程在存储集群中运行， 并让系统管理员更好地了解发生了什么， 但它不是必需的组 件， BeeGFS 在没有它的情况下也是完全可运行操作的。 3 在设