基于WWW的聚类引擎研究-计算机软件与理论专业论文.docxVIP

摘要摘 摘要 摘 要 随着www技术在全球范围内的迅速发展与普及，网络信息资源F|趋丰富， 现有的力．维网信息检索技术和方法已经不能满足用户对信息的快速性与有效性要 求。搜索引擎是目前最主要的万维网信息检索工具，然而搜索引擎的效果还不能 令人满意。因此研究新的万维网信息检索技术己成为一个很重要而又很困难的问 题。 数据挖掘旨在提取数据中隐含的、未知的、有用的、非一般的模式或知识， 又称数据库中的知识发现。聚类是数据挖掘的基本方法之一。聚类通过比较数据 的相似性和差异性，能发现数据的内在特征及分布规律，从而获得对数据更深刻 的理解与认识。随着社会的信息化和各种媒体的数字化，万维网数据挖掘逐渐成 了一个研究热点。 信息检索技术和数据挖掘技术相结合，可使搜索引擎上升到高的理论与应用 水平。把新的万维网数据挖掘技术应用到搜索引擎中去，为万维网信息的利用提 出了新的解决方案，将会引起搜索引擎方面一场新的革命。因此，显而易见进行 基于www的聚类引擎研究有着十分重要的意义。 本论文的研究目的是在系统地回顾了万维网信息检索、数据挖掘、搜索引擎 以及聚类的应用研究现状基础上，总结目前存在的问题，并提出相应的解决方法。 特别希望通过聚类方法自动组织搜索引擎的搜索方案，便于用户发现真正需要的 万维网信息。 本沦文主要的研究内容和创新工作体现在以下几点： (1)对万维网信息检索、数据挖掘、搜索引擎以及聚类的应用研究现状进行 分析和概述，进而指出基于wWw的聚类引擎研究是一个新的具有挑战性的前沿 性课题。 (2)研究基于Rough集理论中的差异矩阵，并在引入扩充差异矩阵的基础上， 提出了一种基于Rough集理论的不完备数据分析方法ROUSTlDA。该方法充分利用 Rough集分析方法的优点，只需利用信息系统提供的信息，不需要另外附加信息， 计算简单、直观。 (3)分析以关键词组作为自然语言信息特征的优点，构建利用后缀数组进行 关键词组提取的方法，提出了发现右完整字符串RCS的算法nnd—RCS和得到文档 完整子字符串数组CS的算法combine—lcs—FCS，并进一步对所提的算法进行分析， 最后给出实例以验证所提算法的正确性与有效性。 重庆大学博士学位论文(4)介绍遗传算法的概念、算法结构、运算算子及主要存在问题；提出了一 重庆大学博士学位论文 (4)介绍遗传算法的概念、算法结构、运算算子及主要存在问题；提出了一 种基于遗传算法的聚类新方法MGA，该方法有两个主要优点：一是通用性强，可 以对包含数值属性和符号属性的大数据集进行聚类；二是提高了数据挖掘的效率 与质量。 (5)构建了一个基于数据挖掘的搜索引擎原型系统，它能够以语义的、在线 的、树型的方式对搜索引擎的搜索结果进行聚类(即SOTC方法)，并可处理中文 万维网信息。 (6)论文最后除对研究工作进行总结外，还对今后的研究方向进行了展望。 关键词：万维网，信息检索，数据挖掘，搜索引擎，聚类，粗集理论 II AbstractABSTRACT Abstract ABSTRACT Along with the rapid development and universal popularization of World Wide Web，information resources on Web have been expanded increasingly．This has causes current technologies of information retrieval difficult to satisfy the speediness and validity of users’information requirement．Today,search engine is the most commonly used tool for Web information retrieval，however,its current status is still far from satisfaction．So，how to find the new information retrieval technology has been very important and difficult question． Data mining aims at extracting hidden，unknown，useful，unusual pattern knowledge．It is also called KDD(Knowledge Discovery in Databases)．Clustering is basic form of data mining．By contrasting the si