面向企业内部搜索的Web文档聚类系统研究-计算机技术专业毕业论文.docxVIP

Classified Index: TP391.1 U.D.C: 620 Dissertation for the Master’s Degree of Engineering RESEARCH ON WEB DOCUMENTS CLUSTERING SYSTEM USED TO ENTERPRISE-INSIDE SEARCH Candidate： Wenhui Lin Supervisor： Prof. Yunming Ye Associate Supervisor： Fasen Pan Academic Degree Applied for： Master of Engineering Speciality： Computer Technology Affiliation： Foxconn Technology Group Date of Defence： June, 2012 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工程硕士学位论文 哈尔滨工业大学工程硕士学位论文 摘 要 自 20 世纪末以来，网络信息资源的应用在企业内部及企业间得到快速发展 和广泛的应用，企业员工需要接收和处理的信息量每年成倍的增长；Web 文档 作为企业内部网络信息资源的重要载体，包含了企业大量有价值的相关资源 ， 但由于许多大型企业内部众多独立的 Web 资源系统，Web 文档的格式和内容大 部分都为半结构化和分散形式存在，企业人员很难在大量的 Web 文档中找到有 价值的信息；而 Web 文档聚类在行业垂直智能检索及元搜索中的深入应用，在 企业应用内外部检索中也逐渐受到重视和应用，以使企业员工 可以快速有效地 在大量的企业信息资源中找到有价值的内容。 本文根据现代集团企业的庞大信息规模、快速的信息增长速度、企业内部 存在众多错综复杂的 Web 信息系统的现状，针对员工信息检索存在的问题进行 研究，采用 Web 文档聚类算法和 Web 文档预处理等技术，实现企业内部 Web 文档的聚类，有效且灵活地解决企业内部分散的系统信息检索的问题。 本文在通过分析企业内部数据结构的特性，分析影响聚类效果的因素后， 研究了 Web 文档聚类的相关理论和关键技术，包括企业内外部元搜索应用、后 缀树构建、向量空间、降维处理、Web 文档表示、构建文档层次权重模型以及 相似度计算等方面，并在聚类时采用向量空间模型及类别标签提取，提高了聚 类的效果和聚类结果的可读性。 在对企业内部的信息来源重要程度和信息结构重要程度进行分析后，本文将 文档层次权重模型引入到面向企业的 Web 文档聚类算法，在聚类过程中，区分 信息来源的权重和信息结构的权重，通过权重进行聚类数据过滤和降维处理，在 Web 文档聚类上起到较好的效能和聚类效果。 基于以上的研究成果，本文设计并实现了一个面向企业内部搜索的 Web 文 本聚类系统，系统包括 Web 文档检索提取模块、Web 文档预处理模块、后缀树 构建模块、Web 文档聚类模块、类别标签提取模块以及可视化模块，为企业进 行相关的内外部综合检索实验和研究提供了一个基础平台。 关键词：文档聚类；后缀树；分层权重；Web 文档 Abstract Since the end of 20th century, network information resources have been rapidly grown and widely used in enterprises. Employees need to receive and process an amount of information which grows exponentially each year. Web document is an important carrier of the internal network of information resources which contains a large number of enterprises valuable resources. However, there are many independent web resources in large companies whose format and content are semi-structured and distributed in the enterprise. The enterprise is difficult to find valuable information in a large number of web documen