计算机半结构化数据源的数据挖掘技术研究.docVIP

计算机半结构化数据源的数据挖掘技术研究 摘要：基于XML的半结构化数据挖掘技术，探讨了如何对Web上的信息进行更加有效的挖掘和整理。 关键词：XML；半结构化数据挖掘 中图分类号：TP311.13 随着因特网的发展，数据信息来源种类逐渐增多，相应的信息复杂性也在增加，传统的数据存储和处理方式已经不能很好的满足实际使用与研究的需求，XML作为一种半结构化数据标准，已经开始被越来越广泛的应用，而对于此类结构化数据的挖掘也为我们的日常研究提供了一个方向。 对于半结构化数据源的挖掘不同于传统的数据挖掘。传统的数据库中的数据类型工整，数据结构性很强，为完全的结构化数据，因此对于此类数据处理较为简单，只需要按照其规律进行分析即可。而对于半结构化的数据则因其表现形式的多样性，所以对其挖掘要比对于单个数据仓库的数据挖掘要复杂。 1半结构化数据 半结构化数据有两种，一种是指该数据在物理层面上缺少结构，另外一种是指该数据在逻辑层上缺少结构。在现有的Web环境中，有一些结构化的数据，为了用于网页页面显示而采用了与HTML语言标记符号嵌套的方式，因此就构成了第一种物理上的半结构化数据。另外网络中有众多的Web页面，页面上有着丰富的数据内容，这些数据大多都以HTML文件的方式存在，并没有严格的结构和类型定义，这样的数据都属于第二类的逻辑层的半结构化数据。网络页面上的数据与传统数据库中存储的数据不同，传统数据库内的数据都有一定的数据模型，每个特定的数据都可以根据模型来进行描述，而网络页面上的数据很复杂，并且不能按照特定的模型进行描述，每一个站点的数据都遵循其独立的设计规则，并且它的数据本身具有自我描述的特性和动态的可变性。因此网络页面上的数据具有一定的结构性，但是其因为具有自述层次的存在，因此属于一种非完全结构化的数据，也称为半结构化数据。 2半结构化数据的来源 （1）在Internet上因为对所存储的数据没有严格模式的限制而产生的半机构化数据，常见的有HTML、XML、SGML等类型的文件。 （2）在电子邮件、电子商务文件、文献资料等文件中，由于没有严格的格式要求，所以存在着大量结构与内容不固定的半结构化数据。 （3）在包含有异构信息源集成的情况下，由于信息源集成范围广泛，对于信息源的存取范围包括各类数据库、电子图书馆、知识库和文件系统等，因此也会产生半结构化数据。 3半结构化数据的几个特点 （1）包含有隐藏的模式信息。虽然说半结构化数据具有一定的结构，但是由于数据和结构混合在一起，所以并没有明显的模式定义。 （2）结构不规则。半结构化数据的一个数据集合可以由不同结构的元素组成，或者在某些情况下使用不同类型的数据来表示相同的信息。 （3）类型约束不严格。半结构化数据由于没有预先确定的表达模式，并且数据在结构上没有遵循相同的规则，因此会导致其缺乏对于数据的严格约束。 基于以上几个半结构化数据模型的特点可以看出半结构化数据缺乏严格、完整的数据结构，但是这类数据并非没有结构，但是它们的结构可能是隐藏的、并不完整的，并且可能是需要不断进行修改的。 半结构化数据的模式与以往的关系数据模式或者面向对象的数据模式最大的区别在于半结构化数据是现有数据然后再有模式。不对数据的结构进行强制性的约束，只需要描述出数据的结构信息，并且它只描述数据部分结构的非精确模式，在应用中随着数据对象的不断更新而动态修改其描述，据此分析半结构化数据的数据特点和它所产生的原因，半结构化数据源的挖掘是能够实现的。 半结构化数据源挖掘技术首先要解决的是数据远模型及其查询与集成的问题。要解决网页页面上的异构数据的集成与查询，就必须要有一个适当的模型来对这些数据进行清晰的描述，因此如何创建这个半结构化的数据模型就成为了解决问题的关键所在。首先我们需要定义一个半结构化数据模型，其次我们还需要一种适用于此模型的半结构化模型挖掘技术用来的从现有的数据中自动挖掘半结构化模型。对于网页页面数据的挖掘就必须以此半结构化数据模型和半结构化数据模型挖掘技术为手段来建立相应的数据库。 在针对多数据源的数据库进行半结构化数据提取、表示和查询的处理一般采用包装的方式来进行。首先把信息源的数据通过包装转换成为目标数据库所使用的格式和类型。同时处理过程中负责监视的部分将自动监测信息中的数据变化，如果发现数据有变化则将这些变化上报，这些变化经过分析发现有新的数据源连接仓库系统或者信息源发生变化时，那么系统就会把这些有变化的数据进行过滤、汇总，并把这些信息源进行汇总处理，并将收集到数据库中。 此系统对半结构化数据进行处理的过程中所面临的主要问题就是如何将其转化为更易于处理的结构化信息。但是对这些半结构化数据进行转换的目标是庞大的网页页面数据源，如果依靠人工手段针对每个数据源编写相应的转换方式的话工作量非常代价。因此，我们需要一种