文档自动分类技术及其在搜索引擎中应用研究.pdfVIP

北京大学硕士论文 文档自动分类技术及其在搜索引擎中应用的研究 论 文 摘 要 本文首先介绍了 Internet 的发展状况，指出Internet 是一个庞大、杂乱、瞬息 万变的信息源泉，仅仅依靠网页上的超文本链用户是无法方便、快捷地找到自己 所需的信息的，提供 WWW 信息导航服务的搜索引擎是解决这个问题的一个途 径。在介绍了传统的 Spider 式搜索引擎和基于人工分类的目录式搜索引擎的特 点并对它们作了比较之后，指出支持分类目录是 Spider 式搜索引擎发展的趋势， 而应用文档自动分类领域的研究对收集的网页自动分类，实现对分类目录的支持 是一种可行的方法。然后，本文介绍了天网搜索引擎的现状，分析了它的特点， 说明要进一步发展天网系统，应当采用文档自动分类技术支持分类目录。 接下来，本文介绍了文档自动分类的意义和算法的分类，然后分别介绍了 m-ary 分类系统和 Independent Binary 分类系统常用的算法和各个算法的特点，接 着介绍了从 m-ary 分类系统转换到 Binary Independent 分类系统常用的三种算法 以及这两种分类系统的性能评价指标，然后分析了特征项选取对分类系统的影 响，介绍了常用的五种特征项选取的方法。 结合现有的天网搜索引擎，本文提出了天网系统支持分类目录的设计方案， 详细介绍了自动分类系统的实现，说明了分类系统选用的分类算法的是 KNN 算 法，选用的评价特征项重要性的指标是 CHI 统计量，选用的转换算法是 Scut 算 法，然后讨论了自动分类系统在实现过程中遇到的问题以及解决的办法：1 使用 两个文件描述分类目录，用 Begin——End 结构表示类之间的层次结构；2 通过 限制文档向量最大分量的值显著地提高了系统分类的性能指标；3 使用稀疏矩阵 在程序中表示文档向量，极大地缩短了分类响应时间，节省了占用的内存空间。 在说明了分类系统使用的分类目录、训练集和测试集之后，本文给出了系统的测 试数据。 最后，本文详细介绍了将自动分类系统集成在现有的天网系统中的方法，讨 论了对天网系统各个子系统的改造。 关键词：文档自动分类、搜索引擎、KNN 1 北京大学硕士论文 文档自动分类技术及其在搜索引擎中应用的研究 目 录 目 录2 第一章 课题研究背景3 第二章 文档自动分类的主要算法和性能评价6 §2．1 文档自动分类的主要算法6 §2．1．1 算法的分类6 §2．1．2 文档的向量空间模型7 §2．1．3 Independent Binary 分类系统 8 §2．1．4 m-ary 分类系统 10 §2．2 分类系统的性能评价13 §2．2 ．1 m-ary 分类系统的性能评价 13 §2．2 ．2 Independent Binary 分类系统的性能评价 15 §2．3 特征项的选取17 第三章 自动分类系统的实现及其在天网系统中的应用21 §3．1 支持分类目录的天网系统的设计21 §3．2 自动分类系统的实现22 §3．2 ．1 自动分类算法的选用22 §3．2 ．2 对中文的支持22 §3．2 ．3 自动分类系统的实现23 §3．2 ．4 自动分类系统的测试27 §3．3 现有天网系统各子系统的改造31 §3．3 ．