Orcale数据库中非结构化数据的存储方法.docVIP

Orcale数据库中非结构化数据的存储方法 　　摘 要 　　随着企业信息化应用程度的提升，企业会产生大量的信息化数据，这些数据既有传统的结构化数据，更有众多新型的非结构数据，诸如图像、音频、视频、办公文档等。利用主流数据管理系统Oracle所提供的新方法，可有效构建非结构化数据的存储模型，从而使得非结构化数据的存储更高效，检索更快捷。 　　【关键词】非结构化 数据存储 Oralce SecureFile 　　1 前言 　　随着信息技术的广泛普及和充分应用，企业在日常业务活动中会产生各种各样的信息化数据。这些数据既有传统的结构化数据，更有大量的非结构化数据，诸如音频、视频、图像、办公文档等。据IDC统计，在企业产生的全部数据中，约有80%都是非结构化数据，且每年按60%的指数增长。在未来15年中，互联网和多媒体应用的数字非结构化数据量将超过6.023x1023 （阿伏加德罗常数），因此非结构化数据的高效存储和快速检索成为非结构化数据存储方案所面临的关键挑战。 　　2 数据存储结构与数据存储方法 　　传统的结构化数据可以用二维表结构来逻辑表达，因此可以用关系型数据库来管理，而非结构化数据无法用二维表结构来表达，因此需要采用新的方法来存储和管理。在大数据时代，主流的商业数据库软件如Oracle在对传统的结构化数据提供更先进的管理技术的同时，也对非结构化数据提供了有效的管理方法，能整合有关联性和结构化的数据及非结构化数据，从而给用户提供无缝的使用体验。 　　2.1 非结构化数据分类 　　非结构化的数据可以分成几种不同的类型，比较常见的就是多媒体或富媒体文件，如数字化影像、音频文件、视频文件。其分类如下： 　　2.1.1 照片 　　用二维方式来表示所有内容，如照片、素描、绘画、图标。 　　2.1.2 基于字符的文档 　　由一??或多个明确定义的字符集中的字符所组成的集合，如Word文档、电子邮件、PDF文件等。 　　2.1.3 音频 　　基于时间的声音的集合，如WAV文件、MP3文件等。 　　2.1.4 视频 　　基于时间的图片和基于时间的声音的集合，如MP4文件等。 　　2.2 Oracle的存储结构 　　Oracle是当前在商业社会中最广泛使用的大型数据库，适合于企业管理和企业数据交换，特别是对于具有大规模数据库的组织。Oracle数据库对数据的存储分成逻辑结构和物理结构两部分，逻辑结构存储在数据表中，而物理结构存储在数据文件中（见图1）。 　　在上述逻辑存储结构中，段是对象的空间逻辑分配，一个段包含一个或几个子段，这些子段是连续的数据块，数据块是数据库使用的最小数据单元。数据文件是操作系统中的物理文件，其存储数据库中所有逻辑结构的数据，其中不同的数据文件可以采用不同的数据块大小。 　　2.3 Oracle的非结构化数据存储方法 　　在Oracle数据库管理系统中，对不同类型的大对象数据使用不同的存储方式：内部大对象存储在数据库内部；外部大对象存储在文件系统中，并且只在数据库中存储指向这个文件的指针。本文将重点讨论第一种类型。 　　2.3.1 大对象数据类型 　　大对象数据类型（LOB）是由数据库系统提供的一组数据类型，用于存储大的数据，例如图片、文档和声音。LOB数据是可以由数据库应用程序有效使用和操作的形式存储。 LOB有4种类型的数据： 　　（1）BLOB（二进制大对象），通常用于存储多媒体文件，如音频或视频。 　　（2）CLOB（字符大对象），通常用于非常大的文件字符串，字符集是固定宽度格式的字符。 　　（3）NCLOB（国家字符大对象），几乎和CLOB一样，存储非常大的字符串，但字符集格式不必是固定宽度。 　　（4）BFILES，是一个存储在数据库之外（在操作系统中）的二进制文件，但数据库仍然可以访问。所有存储在操作系统中的文件都可以存储在BFILE 中（例如*.DOCX文件可以存储在一个BFILE中），然后以CLOB形式被加载到要打开的表中。 　　2.3.2 SecureFile和Basicfile 　　Oracle数据库提供了两种管理非结构化数据的方法――Basicfile和SecureFile方法。 　　简单地说，Basicfile就是LOB，可用上面提到的LOB特征来理解Basicfile。 　　SecureFile是Oracle提供的一个新的存储类型（名叫SecureFile LOB），它为处理非结构化内容提供了新的方法，同时还能拥有Oracle数据库服务器的所有特性和优点，如： 　　（1）数据压缩。通过SecureFile智能压缩，SecureFile LOB能够立即检测到文件可以被压缩以节省空间。 　　（2）重复数据删除。Oracle