fithas进展及下一步工作 - china-vo.ppt

FitHas进展及下一步工作 于建军 中国科学院计算机网络信息中心 协同工作环境研究中心 提纲 FitHas介绍 FitHas 2特性 下一步工作 FitHas介绍 FitHas Fits Head Archive System Fit头文件入库系统 存储Fit头文件中的元数据信息 目标： 屏蔽不同FITS文件的差异 向用户提供统一的接口 对大量的FITS文件进行快速有效的访问和方便的管理 有效满足China-VO对于海量数据存储和访问的需求，同时具有很强的可扩展性 FitHas作用 必要性 改变靠遍历访问大量数据文件的做法 可行性 FITS有标准的格式约定，可方便提取，也适于在数据库中进行灵活的查询 经济性： FITS头元数据占用空间较小。 以天文台已归档的部分SDSS的光谱数据为例，1T的FITS文件，存入数据库的元数据所占用的空间仅几百M 易用性 数据库SQL语句和结构查询方法，满足用户在海量数据的检索结果和检索时间上的要求。 关联性 在入库的元数据中，还可以扩充其他重要信息，例如文件的位置，语义信息等，这样就构成了元数据和对应文件之间的一一映射 FitHas 1.0特性 FITS头部浏览 入库的FITS元数据浏览 单一FITS文件的归档 FITS文件的批量归档 数据库配置 FitHas 1.0界面 主界面 数据库配置 批量入库 数据浏览 单文件入库 FitHas 1.0问题 使用eclipse jface作为GUI 跨平台需要携带大量的库文件 不同操作系统的库文件不同 本地文件入库 无法入库Web Fits文件 使用模式单一 没有提供命令模式 FitHas 2特性 GUI客户端改进 CMD客户端 Web 客户端 多线程入库支持 元数据的数据库模式修改 GUI客户端改进 使用JAVA Swing开发包 支持不同的操作系统和平台 无需任何额外的系统库支持 使用向导模式 界面友好 入库文件数量的提示 入库操作的实时更新显示 使用Skin美化Java界面 FitHas 2 GUI客户端 CMD客户端 提供四类操作 查看Fit文件头 view filename 数据库配置 dbconfig -dbtypedbType -serverserver - ortport -useruser -pwdpassword -databasedatabase 单文件入库 import -s -ffilename -dbtypedbType -tabletable 多文件入库 -import -m -ddirectory -typedbType -tabletable -filterfilter FitHas CMD Web客户端 基于URL的多文件入库 基于struts技术构建的Web Web客户端界面 Fit文件入库时间分析 三个过程 文件读取 文件分析 元数据入库 分析和入库所需时间对比 第一组 第二组 第三组 第四组 第五组 第六组 分析 51.8s 45.6s 48.5s 47.6s 48.6s 46.1s 入库 14.0s 12.5s 12.4s 14.0s 12.1s 15.0s 读文件到内存阶段和单纯的分析阶段所需时间对比 第一组 第二组 第三组 第四组 第五组 第六组 读文件 5.5s 5.3s 4.9s 5.1s 4.9s 5.1s 分析 47.9s 44.3s 37.3s 38.5s 36.2s 33.9s 线程n 线程i 线程1 多线程模式 文件读取 文件读取 文件读取 文件分析 文件分析 文件分析 共享数据链 线程N+1 下一步工作 结合FitHas Web版放入到协同环境中 FitHas多线程的调优 FitHas软件发布、开源等工作 * * * *