布式资料储存与管理的开源管理软件iRODS调研分析.pptx

布式资料储存与管理的开源管理软件调 研CAS·SDC 韩芳2016/11/04目录产品简介产品简介功能4大主要功能数据虚拟化访问接口Map from actions requested by the access method to a standard set of Micro-services.映射标准微服务与标准操作Map the operations to protocol supported by the operating system.标准微服务Data Grid数据网格标准操作(POSIX,ODBC…)Data obj, DB obj, Workflow数据虚拟化数据虚拟化数据发现工作流自动化安全协作计算管理计算管理策略 –可操作规则iRODS数据生命周期DataCollectionPrivateLocalPolicyDataGridSharedDistributionPolicyDataProcessingPipelineAnalyzedServicePolicyDigitalLibraryPublishedDescriptionPolicyReferenceCollectionPreservedRepresentationPolicyFederationSustainedRe-purposingPolicy系统架构用户搜索、访问、获取、添加数据及元数据Logical namespace: “虚拟集合”iRODS 规则引擎Track PoliciesiRODS 元数据目录Track informationiRODS Data ServersDisk, Tape, etc.利用浏览器或iRODS GUI 或客户端命令行来访问分布式数据体系架构体系架构规则库规则库规则库流程特色对比科学数据管理云平台VDBCloud产品/项目 名称数据管理模式定制元数据可视化工作流客户端API服务方式iRODS 文件模式，dataset支持各种数据文件类型；虚拟化管理。√可扩展，通过元数据目录进行数据发现偏底层数据管理。规则引擎特色多种API，客户端服务开源管理使用VDBCloud数据库管理；文件管理。有数据的逻辑层。无部分数据类型的可视化展示；文件预览。无提供统一VDBi接口，可收割。服务院所免费应用案例虚拟文件系统存储在iRODS中的数据通常通过iRODS客户端访问。 iRODS客户端将数据对象组织为集合。大部分情况，在数据对象和文件之间，在集合和子目录之间没有什么区别。然而，有几个重要的区别：?集合不参考物理存储路径。有可能集合中的两个数据对象存储在不同的物理位置。?数据对象可以指代多个副本。副本是文件的精确副本，?位于多个物理位置。数据对象和集合存??储在iRODS区域的存储资源中。每个存储资源都有一个名称 - 资源的逻辑表示 - 主机名和路径 - 资源的物理表示，文件保存位置。主机名是提供数据的设备的网络名称，而path是保存数据的本地文件系统路径或对象存储桶。iRODS系统架构属于 ”可调式中介软体架构”（Adaptive Middleware Architecuture，简称AMA），依照使用者的不同需求，制定不同的服务器端管理策略。我们可以把AMA看成是透明的盒子，使用者可以清楚地看到系统的工作机制，并启动控制机制来满足需求。通常中介软体是一个黑盒子，系统开发者俱有完全的控制权，各项服务都具有严格的配置选项，使用者无法自行制定，除非系统允许更改中介软体的初始配置。构建AMA有多种方法，iRODS采用的是规则导向程式设计，即ROP(Rule Oriented Programming)，来完成客制化资料管理。规则导向的系统架构，是在不同的情况中，执行不同的规则。规则是由许多微服务（Micro-Services）所组成，微服务是由C语言撰写，可视为一个功能，由许多不同的功能组成一条规则。在不同的情况下，使用不同的规则或变更其规则。开发者需要在Linux 环境下配置好一台带有iCAT 的iRODS SERVER 作为整个系统的Server。CAT 是类似于MCAT 的一个由关系型数据库实现的元数据注册系统，主要在进行统一访问时存储和查询系统级和域级的元信息，元信息包括用户、资源、数据聚集、操作许可等信息。可以配置多个不装有iCAT 的iRODS Server。这些服务器连在一起可供用户选择上传他们的文档。另外有一个WEB 服务器，此服务器作为开发平台，当用户想使用分布式文件型数据管理和共享系统时，直接连接登录到WEB 服务器即可。API _json比较好用。权限控制。CMS定制化。BBS等关联数据。可视化也可以定制，本地版本，可以色块等定制。树图，buble图安全可靠、多方面的实作测试政府等级的渗透测试超过三年以上的政