非结构化数据迁移工具设计及实现.docVIP

非结构化数据迁移工具设计及实现摘要：国内大型企业开展内容管理平台的搭建，有效的整合了各个业务应用系统生成的非结构化数据，合理的实现了数据从分散存储到集中存储的巨大跨越，但是对于现有业务应用系统中海量历史非结构化数据迁移至内容管理平台的问题有待解决。保证业务应用系统和内容管理平台的安全稳定运行前提下，文中提出了通过第三方数据迁移工具和标准的数据迁移方案，从而保障各个业务应用系统非结构化数据的迁移工作有序的开展，并对迁移的历史数据的完整性和一致性进行校验，确保历史数据迁移后能够正常访问。 关键词：内容管理平台；非结构化数据；数据迁移；数据校验；标准流程 中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2013）09-2117-05 在通信技术与软件开发技术高速发展的环境下，企业通过信息化办公系统提高了管理质量和工作效率。然而，现代企业在信息化办公过程中生成的大量电子文本文件、报表、账单、合同、规章制度、音频、视频等非结构化数据，每年以GB级向TB级的速度不断增长，依靠传统的关系型数据库已经无法满足企业数据管理的要求。针对此需求，内容管理平台的出现，彻底解决了非结构化数据存储的问题，其可扩展性先进性、安全性、标准性和开放性、系统集成性，完美的实现了非结构化数据集中存储和管理，但是，由于多年的信息化办公中生成的历史非结构化数据还存储在业务应用系统的服务器中，需要通过合理有效的数据迁移工具将历史非结构化数据统一存储到内容管理平台。 1 存在的问题 随着信息化办公的长远发展，数据的集中存储和管理是实现各个业务应用系统数据融合、信息共享、数据挖掘、获取有益数据的重要保障。但目前由于信息化数据管理标准、管理模式及要求等方面仍然存在着一定的问题。其中包括： 1.1 数据管理面临的典型问题 1）信息化办公中的非结构化数据需要内容管理平台的有效管理，但缺乏统一的管理标准和数据分类标准； 2）业务应用系统对非结构化数据的需求不统一； 3）各个业务系统中数据格式多样化，对数据的访问频率也各不相同； 4）非结构化数据的共享利用率较低。 1.2 目前主流的内容管理平台方面存在的问题 1）非结构化数据存储方式及数据格式多样，整合存在困难，使数据共享和共享平台建设留下了许多问题： 2）在数据挖掘和统一搜索方面，能够实现简单的业务元数据方式的查询，极少数实现了全文检索，同时随着非结构化数据量的增长，使得应用系统的查询过程变得漫长。； 3）数据传输的安全性相对薄弱，缺少数据的传输加密功能，比如多数系统无法控制被利用电子文件传输的安全性： 所以，通过对业务应用系统数据需求分析和存储现状的研究，制定一套统一的、专业的数据迁移方案和工具势在必行。通过对业务应用系统历史非结构化数据的集中存储和管理，为内容管理平台建设提供有力支撑，对实现数据共享、数据挖掘、加工利用提供有效保障；同时通过内容管理平台，加快解决用户对数据访问效率。 企业级内容管理平台的非结构化数据迁移工具的设计与实现的定位是以“来源于数据、利用于数据，实现数据共享、深度挖掘、提升利用价值”的思想，有力的支撑内容管理平台实现数据的统一存储和管理，提高数据的安全性，保证合理的数据共享和利用。 2 业务应用系统数据现状 2.1 需求分析 根据目前企业业务应用系统建设情况，分为已建系统和在建系统，大部分已建系统存在着大量的非结构化数据，这部分数据已在业务流程中使用，为实现数据的集中存储，需要将这部分数据迁移到内容管理平台进行统一存储和统一访问，以实现非结构化数据大集中管理，业务系统对历史数据迁移提出了以下需求： 1）存储空间的需求：业务系统根据自身系统非结构化数据的现状，计算非结构化数据的总容量和总条数，同时预估每年可能产生的数据量，需要使用多大的存储空间，提供多少的预留空间； 2）支持多数据源的迁移：目前公司业务系统非结构化数据的主要有数据库大字段BLOB、文件系统、FTP文件服务器等，根据业务系统不同的存储方式，内容管理平台需要提供不同的解决方案，以满足不同的业务系统对历史数据迁移的需求； 3）迁移支持的数据格式：各个业务系统对非结构化数据存储格式的需求不同，如：OA办公系统的非结构化数据有doc、ceb、wps、xls、pdf等格式，档案管理系统的文件格式有TGA、GIF、TIF、TIFF、MPG、AVI、MOV、MPEG、WAV、MP3、WMA、HTML、TXT、XML等； 4）迁移后用户使用非结构化历史数据体验不变：待历史数据迁移完成后，对于用户来说，非结构化数据迁移前和迁移后没有任何的体验变化； 5）非结构化数据的完整性：迁移过程中，不能破坏