档案馆实施大数据战略实践路径分析.docVIP

档案馆实施大数据战略实践路径分析 　　摘要：目前，大数据已经成为档案界研究的热点。本文从大数据架构、实施路径等方面进行分析，并以郑州市档案馆为例，对大数据如何在档案工作中进行试点展开深入研究。 　　关键词：档案馆大数据档案资源云 　　目前，大数据已经成为档案界研究的热点。笔者在CNKI上以“大数据”为主题进行检索，发现在档案学领域相关研究主要集中在大数据时代档案馆生存与发展的相关策略；档案管理中运用大数据技术的策略；数据挖掘与档案利用服务等方面。这些研究大多以介绍大数据为主，其提出的策略也较为宏观。鉴于此，本文拟从大数据架构、实施路径等方面进行分析，并以郑州市档案馆为例，对大数据如何在档案工作中进行试点展开研究。 　　一、档案馆实施大数据战略实践的框架构建 　　所谓大数据，就是一种规模大到在获取、存储、管理、分析方面超出传统数据库软件工具能力范围的数据集合，它具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。从上述定义中可以看到，庞大的数据量以及多样的数据类型，需要海量的结构化数据与非结构化数据。同时，它还要求传输这些海量数据的网络具有较高的性能与速度，并且能够在对海量数据进行分析处理的基础上提取有效信息，而这主要通过云计算、分布式架构来实现。其中，大数据处理流程如图1所示。 　　具体而言，第一步是构建云计算平台，由于数据源具有TB甚至PB级以上的数据容量，因此可以将其用来构建数据云计算平台。其中，所涉数据源是各档案馆馆藏的档案资源。第二步是进行大数据处理，在进行大数据处理之前，需要进行信息整合与治理，即对各级各类档案数据进行数据质量治理并管理信息生命周期，通过聚类、相似性分析等分析档案数据间的有机联系，以保证大数据处理的质量。在构建数据云计算平台和进行大数据处理之间，需要实现海量档案数据的传输，而这主要通过高速网络来实现。高速网络，则以高性能网络（如UltraScience Net、ESnet5/OSCARS等）为基础，将数据传输集中在一个较大的服务器集群中，进行信息整合与治理、大数据处理。第三步是结果显示，它主要是指以可视化的方式，将处理后的结果提交用户利用。将图1中的大数据流程与档案工作实际相结合，并与各类物理设施建立联系，构建出档案工作实施大数据战略的具体框架，如图2所示。 　　（一）数据整合与清洗 　　所谓数据整合与清洗，是指将分布在多个异构平台的数据，集中到大数据的数据仓库前对数据进行重新审查，以删除重复的数据、补充不完整的信息以及修正错误的信息，从而提高数据的质量。比如，郑州某类民生档案数据分析，需要从郑州市6区5县的该类民生档案数据中抽取并分析，这些来自于不同档案系统的数据可能存在重复，可能存在关键著录项的缺失或错误，可能因存在不同的档案信息格式而造成数据质量下降，引起大数据分析结果的不准确。 　　存储在多个异构平台的档案信息的数据整合与清洗，完全可以通过构建档案信息云计算平台来实现，即档案信息资源云。它是一个以数据存储和管理为核心的云计算系统，具有云存储的作用。档案信息资源云应该是全国性的资源云，鉴于当前的档案工作实际，目前建设全国性的资源云并不现实，可以考虑先建设区域性的公有云，实现区域内档案条目的集中与共享，也就是说实现区域性的档案信息分布式存储与管理。具体来说，在建设区域性公有云的时候，可以通过区域性分布式档案馆联盟，构成区域性的资源云。李泽锋曾提出“分布式档案馆联盟”的概念，即在分布式联盟中，“当利用者查找的信息可能涉及多个档案馆的多个文件时，分布式检索系统根据公共目录同时向多个档案馆发送电子文件请求，在收到多个档案馆分发的档案数据后，将其压缩打包，并在压缩包中生成文件列表，以显示各档案数据的来源”，在此基础上逐步构建更大甚至全国性的资源云。在公有云下，区域内的档案部门还可以建设自己的私有云。 　　通过档案信息资源公有云搭建云计算平台，一是实现档案信息的查重，即按照档案信息的元数据或著录项进行比对，尤其是主要项如题名与责任说明项、密级与保管期限项、时间项等。如果相似度为90%，则要全文比对。相似度为100%，表明档案重复。一旦比对是重复的，只需将所保留全文的地址与相应全宗的目录建立对应关系。建议先进行档案目录的比较，因为全文作为非结构化信息，比对占用的云资源较多、时间较长；而目录一般为结构化信息，其比对简单迅速。二是对档案信息生命周期的治理。它主要用于档案鉴定与处置，尤其是达到保管期限的档案鉴定与处置。 　　（二）大数据处理 　　大数据处理是该框架的核心。大数据处理就是在收集庞大复杂的数据基础上，建立信息间的聚合，从而进行知识获取。由于大数据处理的是海量数据，非常规软件所能分析，它需要特殊技术在可容忍的时间内进行有效工作。 　　目前，主流的大数据处理主