Web数据挖掘探讨.pdfVIP

维普资讯 三三兰三三三 信息科学 三： 三三j：三：三j三 三叠薹 三未至量蔓薹 2∞7年第。期量量 Web数据挖掘探讨 赵全 明 (河北理工大学 计算机与 自动控制学院，河北 唐山 063000) 摘 要：Web数据挖掘是 目前信息技术中的研究热点，它是现代科学技术相互渗透与融合的必然结果。介绍了Web数据挖掘的含义，重点讨论 了W b数据挖掘的类型以各种类型的Web数据挖掘的基本过程以及它们所使用的一些相关技术，最后指出了网络信息挖掘的应用前景。 关键词 ：数据挖掘 ；网络 内容挖掘 ；网络结构挖掘；网络用法挖掘 1网络中数据的结构 的日志记录和浏览器的日志记录。 首先解释一下结构化、半结构化、非结构化数据。结构化数据如数据库 2．43表示：Web内容挖掘的数据表示形式为词、短语、概念或实体、关 表中的数据或者是由数据库生成的HTML页面；半结构化数据则指一般的 系型数据，web结构挖掘为图形，web用法挖掘为关系表、图形。 HTML文档；而非结构化数据是指自由文本之类的数据。网络信息包括了 3Web数据挖掘技术 上面列举的所有形式的数据。 3．1Web内容挖掘 Web上的数据与传统的数据库中的数据不同，传统的数据库都有一定 Web内容挖掘由构造文本集合、文本分析和特征修剪三个步骤构成。 的数据模型，可以根据模型来具体描述特定的数据。而Web上的数据非常 待挖掘的文本可能分散在各个地方，并具有不同的类型，如Web页面、(If． 复杂，没有特定的模型描述，每一站点的数据_鄙各自独立设计，并且数据本 fice文档、E--mail等，内容挖掘的第一步便是利用各种信息检索工具收集这 身具有 自述性和动态可变性。因而，Web上的数据具有一定的结构性，但因 些异质、异构的分布式文本，形成—个文本数据集。由于文本数据资源基本 自述层次的存在，从而是一种非完全结构化的数据，这也被称之为半结构 匕无结构可言，一般采用 自然语言描述，现有的计算机很难处理其语义，所 化数据。半结构化是Web上数据的最大特点。 以要进行有效的内容挖掘就必须先做文本分析，抽取或归纳文本中具有典 Web数据挖掘技术首要解决半结构化数据源模型和半结构化数据模 型意义的元数据并加以有效的表示。特征修剪包括横向切片和纵向投影两 型的查询与集成问题。解决Web上的异构数据的集成与查询问题，就必须 种方式。横向切片是剔除噪声文档或抽样数据，改进挖掘质量，提高精度和 要有—个模型来清晰地描述Web上的数据，除了要定义—个半结构化数 效率。纵向投影是按照挖掘 目标选取有用的特征，通过这种特征修剪，获取 据模型外，还需要一种半结构化模型抽取技术。以XML为基础的新—代 — 个代表文档集合的有效的、精简后的特征子集，为文本挖掘作好准备。 www环境是直接面对Web数据的，不仅可以很好地兼容原有的Web应 剪的过程中，需要用到以下一些技术 用，而且可以更好地实现Web中的信息共享与交换。XML可看作一种半结 3．1．1预处理过程。一是要根据禁用词集去除文档中的语义虚泛的禁用 构化的数据模型，可以很容易地将XML的文档描述与关系数据库中的属 词，例如“的、虽然、the、as”等；二是要对特征词典集进行分词。 性——对应起来，实施精确地查询与模型抽取