Web数据挖掘在搜索引擎中运用.docVIP

Web数据挖掘在搜索引擎中运用 　　摘 要：随着互联网技术的不断发展，在网络中数据与信息不断增多的背景下，就需要利用数据搜索引擎的方式来寻找出用户想要查询的信息，进而达到收集信息的目的。本文主要探讨的是Web挖掘技术在搜索引擎中的应用，首先分析了Web挖掘的概念及其内容，在此基础上阐述了搜索引擎存在的不足，最后叙述了Web挖掘技术在搜索引擎中的应用。 　　关键词：数据挖掘；互联网；搜索引擎 　　中图分类号：TP391.3 　　1 Web挖掘的概念及其内容 　　对于Web挖掘来说，经过了几年的发展我们并不陌生，但是对于不同人来说Web挖掘都有着不同的理解方式，而现阶段的Web挖掘内容主要包含着三个方面。 　　1.1 Web内容挖掘 　　Web内容挖掘是整个Web数据挖掘技术的核心，对互联网中的信息进行分析后我们可以看出，其主要是通过互联网中的各种类型的服务、数据源以及信息源组成的，例如FTP、Telnet和WWW等。由于Web内容挖掘具有很多优势，因此数字图书馆、政府办公和电子商务等都是采用Web的方式来对数据库进行访问的。同时Web内容挖掘所涉及的范围也是非常广泛的，除了图像和文本外，还包含了视频、音频以及多媒体等。 　　1.2 Web结构挖掘 　　对于Web结构挖掘来说主要是针对Web中的文档结构进行分析，从组织之间的结构模式来获取有价值的信息。Web的结构挖掘技术具体来说就是在互联网中的超链接之间的关系和Web文档自身的结构综合到一起而推导出的一种超出Web以外的信息。 　　1.3 Web行为挖掘 　　所谓Web行为挖掘技术，就是通过互联网中的Web服务器所包含的日志文件以及互联网中用户的信息进行统计与处理进而获取有用的信息反馈给查询者。具体的工作模式是在WWW服务器中用户登录的信息进行后台备份后进行归类并分析，最终达到获取用户行为的目标。 　　2 现阶段搜索引擎的不足 　　由于在互联网中主要是通过HTML语言规范来对信息进行描述的，并且对互联网中的信息进行包装、传输以及发布也都是经过Web的方式来处理的。但是值得注意的是HTML主要是一种标记类型的语言，这种语言类型决定着Web的数据挖掘过程中是非常困难与繁琐的。也就是说每一个站点的数据都是相互独立，平时我们都认为Web的数据是很有条理的，但是由于每个数据都是独立存在的，进而形成了一种半结构化数据的模式，这也是当前互联网中数据最大的特点。就是这种半结构化数据的模式导致了数据处理技术相对落后，现阶段主要存在着以下两个方面的问题：首先在搜索引擎的使用过程中，所查询到的信息中没有关系的信息太多，并且准确率较低，即使浏览成百上千条信息也查询不到有价值的信息。其次是搜索引擎中查询到的信息一般情况下顺序都是比较乱的，对所查询的信息没有很好的分类与排序。因此在以后的研究过程中应该从以上几个方面问题入手，完善互联网中的搜索引擎技术。 　　3 Web挖掘技术在搜索引擎中的应用 　　我们都知道Web数据挖掘技术和搜索引擎之间的关系是相互补充的，并不是搜索引擎完全依靠Web数据挖掘的。另一方面，正是通过Web数据挖掘技术才使得搜索引擎中的检索效率得到了很大程度的改善，现阶段Web挖掘技术在搜索引擎中的技术主要包含了以下三个方面。 　　3.1 Web文档挖掘技术在搜索引擎中的应用 　　搜索引擎技术是由传统的检索技术而演变来的，因此在对Web的文档处理不够彻底，那么就需要利用Web文档挖掘技术对搜索引擎进行优化，其中主要包含了文本总结技术、文本分类技术与文本聚类技术三个方面。 　　对于文本总结技术来说，主要是指从互联网中的每个文档中提取出一些关键的信息，并且对文档信息进行书签标记。在这种背景下互联网用户就可以通过浏览每个文档的关键词就可以确认该文档是否符合查询的标准，对大致的内容进行了解后对在决定对其是否收取。 　　其次是文本分类技术，该类文档挖掘技术主要是计算机对文档集合中所有的文档进行分类，因此在用户检索的过程中就会到制定的文档集合中进行搜索。本文分类技术的主要目标是缩小用户在互联网中的检索范围而提升检索效率。 　　最后是文本聚类技术，文本类聚的工作原理与文本分类技术的工作原理是相反的，也就是说需要要求同一簇内的文档之间的相似性尽可能大，另外而簇与簇之间的关系尽可能小，这些簇就相当于分类表中的类目。 　　3.2 Web结构挖掘在搜索引擎中的应用 　　此外，对于互联网的用户来说，他们都希望可以搜索到对自己有用的信息，并且这些信息都是具有权威性的，那么就需要通过Web结构挖掘来进行完善，当前Web结构挖掘技术主要有两个方面。 　　3.2.1 页面等级（rank）方法 　　页面等级的方法主要是在其中的一个Web文档中建立另外一个Web文档作为超链接的