基于爱数Anyshare非结构化气象科技档案管理系统设计.docVIP

基于爱数Anyshare非结构化气象科技档案管理系统设计 　　摘要：随着气象科技档案数据量的不断增加，目前基于移动硬盘和光盘刻录的存储方式会随着时间的更迭、人事变动，加剧整合难度，文档流转效率不高，大量的文档仍分散的保存在个人电脑上，不能有效的集中管理与备份，甚至导致数据丢失等。根据现有气象档案数据量及数据类型特点，采用爱数Anyshare构建非结构化数据存储系统，对纷杂的气象科技档案数据分门别类管理，统一归档。通过利用在线、近线方式实现不同类型气象档案数据的归档保存，方便管理及快速查找 关键词：爱数Anyshare；非结构化；档案管理 中图分类号：TP302 文献标识码：A 文章编号：1009-3044（2016）36-0283-02 1 项目背景 大连市气象档案馆是以气象科技档案为主体的专业档案馆，是科技事业单位国家二级档案管理单位，作为大连地区气象档案和资料信息资源中心，承担全地区台站气象观测资料的处理、整编、检索及历史数据库管理、承担气象档案管理工作。大连气象档案馆同时也是大连地区气候资料服务提供利用工作的窗口单位，馆藏有大连地区地面、高空、太阳辐射、农业气象资料、气象灾害资料以及全国主要城市的气候整编资料；各高度层天气图、历史天气图及其他辅助天气图；热带气旋（台风）年鉴；寒潮年鉴；海洋资料，海上船舶资料等，为社会各界提供气象资料服务 随着气象档案馆数据量的不断增加，目前数据存储主要通过移动硬盘、光盘刻录方式对历史数据进行归档存储，基于移动硬盘和光盘刻录会随着时间的更迭、人事变动，新的知识碎片大量产生，而这个过程会加剧数据整合难度。同时还伴随以下几个方面的问题：部门内部及部门之间文档流转效率不高；大量的文档仍分散保存在个人电脑上，不能有效的集中管理与备份；工作电脑硬盘故障，会导致数据丢失；WORD、WPS软件中病毒，可能导致文书丢失等 综上，根据现有气象档案数据量及数据类型特点，构建非结构化气象档案管理系统，对纷杂的气象资料内容和格式（图片、word、excel、ppt、pdf、wps、video、txt等）分门别类管理，统一归档，是此次系统设计的关键 2 需求分析 气象科技档案数据类型主要包括：区域站数据、日射数据、太阳光度计数据、激光雷达数据等诸多应用类型数据，总归档数据量不超过10TB。目前数据存储主要以移动硬盘、光盘手工刻录为主，部分数据分散存储在各服务器的内置硬盘与个人电脑中，不易于统一管理，且存储资源分散容易造成存储资源浪费。由于数据分散存储，很难满足业务数据安全要求。随着数据量不断增大，可用存储空间不足，并且扩展性差，无法满足业务发展需要 总结以上需求分析，基于当前业务系统情况，面向未来业务发展需要，建设一套高可用统一存储服务平台，为业务系统提供高性能、弹性扩展的安全存储系统，并可按需提供存储服务。通过利用在?、近线方式实现不同类型气象档案数据的归档保存，方便管理及快速查找 3系统总体设计 3.1 存储载体选择 本系统依据《电子文件归档与管理规范GB/T 18894-2002》标准中推荐数据储存载体，选择存储优先顺序较高的光盘作为数据长期保存的存储介质，保证数据安全性，可保存数据50年以上，且低运行成本，低管理费用，耗电少，极大节省办公室面积，配置更新容易，设备寿命长。新一代光驱总是保留之向下的兼容性，全方位拥有数据，检索快，信息提取能力强。由于采用塑质材料，所以对任何电磁干扰都不敏感。由于放在片匣内，采用非接触的访问方式，所以也没有光照射和机械损伤。大规模智能光盘的管理设备-光盘库产品已经成熟，为采用光盘进行海量数据的存储提供了可能 光盘库设备同光盘库管理服务器一同组合成光存储NAS系统，通过虚拟化技术，将光盘库设备映射为光盘库管理服务器某个单独的虚拟文件系统（体现为一个单独的盘符），可以向外提供网络路径，在数据源端上通过网络驱动映射的方式，将光盘库文件存储路径挂载到数据源端本地，使用起来就像操作本地硬盘一样简单。由于光盘库设备是通过机械手自动移动盘匣的方式，来实现存储介质的交换，所以对数据请求的响应时间要低于硬盘，一般近线数据读取的响应时间在1～2分钟左右。通过光盘库管理软件的缓冲技术，可以保证近期内的数据在刻录到光盘匣后也会放置于光盘库管理服务器的缓冲空间内（即硬盘存储介质上），实现光磁混合式存储方式，保证近期被写入和被频繁访问的数据处于在线状态，能够被快速读取。缓存空间可以通过服务器本身硬盘空间提供，也可以外接磁盘阵列进行提供。利用AnyShare归档模块实现基于光盘库的在线自动数据归档，系统整体由数据源端、管理员客户端、光盘库管理服务器、光盘库设备构成。客户端与光盘库管理服务器间通过LAN进行连接，光盘库管理服务器与光盘库设备间通过