大数据架构下文献资源管理与应用.docVIP

大数据架构下文献资源管理与应用 　　摘 要本文介绍了在图书馆情报领域数据管理中存在的信息孤岛、数据类型缺乏统一架构等问题，通过对实际应用中数据类型的分析，利用大数据存储的系统架构，使用关系型数据库与非关系型数据库结合，同时辅以内存数据库和分布式文件系统，对内部用户提供统一元数据管理，对外部提供统一数据访问平台和统一数据搜索引擎，从而实现对多种结构数据资源的管理和应用。 　　【关键词】图书馆 大数据 数据存储 异构数据 非关系型数据库 　　作为以图书馆为基础的情报研究机构，随着近年数据资源量的不断增加，各类文献、图书、期刊、基础数据等都需要进行稳定的存储与高效率的分析。同时，基于这些数据的知识库、咨询服务智库等系统的建设也都迫在眉睫。 　　为了能充分管理众多数据，为各类系统提供数据基础，有必要建设一个结构统一、技术先进、可重复利用的数据资源平台，统一管理各类数字化资源。 　　1 存在问题 　　面对大量的数据资源，在信息化过程中通常会碰到以下问题： 　　1.1 信息孤岛现象 　　这种现象是指需求建设的应用系统存在相互之间在功能上不关联互助、信息无法共享互换以及信息与业务流程和应用相互脱节等问题，缺乏统一元数据管理。 　　1.2 多种类型数据缺乏统一数据架构 　　每个业务环节都会有大量非结构化、结构化、半结构化数据，如何对这类数据进行统一分析管理。在这些多种结构的数据中存在大量内在关联，只有统一数据存储，才能进一步挖掘出数据中存在的深层价值。 　　1.3 软硬件环境重复购买现象 　　在信息化建设过程中，新建应用系统都会根据自身需求重新搭建软件、硬件环境，大部分系统运行所需软硬件并没有达到资源的满负荷利用。 　　1.4 缺乏统一数据标准 　　由于多年系统建设过程中由不同团队开发，造成相同数据内容格式不统一，存在大量冗余数据，彼此数据更新不畅通。 　　1.5 缺乏统一数据安全管理方案 　　在日常工作过程中需要进行大量数据交互与实时操作，缺乏统一的信息化安全手段对数据分配权限进行管理，并实现定期的资源备份。 　　2 建设目标 　　基于以上状况，考虑基于大数据架构的文献资源管理方案应可达到以下目标： 　　（1）实现基于统一元数据定义的信息集中管理和信息共享，为数字出版、数据加工、咨询服务、日常管理等各项工作提供统一数据资源平台。 　　（2）实现统一大数据环境，满足各个应用对于文档数据、关系型数据、非关系型数据和内存型数据的统一存储需求。 　　（3）构建基于SOA架构的应用系统，保证在应用对于数据访问权限的统一管理。 　　（4）建设统一搜索环境，满足于各种数据资源能够统一搜索查询访问。 　　（5）建设必须具备高度的先进性、可靠性、可用性、安全性并具备良好的扩展性和灵活性。 　　3 建设方案 　　3.1 资源建设方案 　　图书馆中常见资源主要包括文献、图书、期刊、数值型数据、动态信息等。依据数据结构的不同，可主要分为基础数据、结构化数值型数据、非结构化数据、动态信息、其他文字类信息等几类。其特点如下： 　　（1）基础数据：主要如书目、期刊文献等数据； 　　（2）动态信息：主要包括各类网站、媒体发布的信息，时效性比较强； 　　（3）非结构化数据：主要包括格式不够统一的数值型数据； 　　（4）结构化数值型数据：可以定期获取的格式相对规范的数据，如海关进出口数据、图书期刊销售数据； 　　（5）其他文字类信息：更新频度较慢的文字类数据，如各类法律库、研究报告等； 　　针对不同类型的数据资源，应对其采用特定的方式进行处理、保存及利用。 　　3.1.1 基础数据 　　包括如数据、期刊文献等基?A数据都应经过数字化加工、元数据定义、自动标引、关键数据提取等多个步骤， 分别保存至相应数据库。 　　3.1.2 动态信息 　　动态信息的来源主要是各个网站，包括网站文章及各类舆情信息。可以由技术手段完成从信息采集、分类整理到分发的所有过程。 　　整个流程由三个规则来体现：分别是采集规则、分类规则、分发规则。 　　采集规则：采集规则由编辑确定，包括来源网站、栏目等。利用爬虫技术，可对所有网站的资源进行自动增量采集，并装入“待分类库”。 　　分类规则：分类规则利用到词表、词库以及自动标引技术。由专家及编辑对所有资源进行多维度分类，并提供相应的语料，经过学习，对之前进入“待分类库”中的所有数据进行自动标引。之后，所有的数据将被从多个维度被分类。保存后即可方便准确的提取。 　　分发规则：在完成上述两项工作之后，所有的动态信息已经被分门别类的整理好。通过分类、关键词即可快速提取相关的信息。对于已经经过规范化处理的动态信息，也可以直接利用形成产品，同样依据自有的多维分类，即可把相关的动态信息直接推