快速文档分类分析-计算机应用技术专业论文.docxVIP

摘要摘 摘要 摘 要 f J }文本信息的急剧膨胀和电子图书的迅速发展，使得文档分类(又称文本分类) 成为信息技术领域的一个重要研究方向。目前研究者们已经对文档分类的各个方 面进行了深入的研究，如文档表示模型、文档属性选择算法、分类算法等等。实 际应用中由于文档数量庞大，需要高效的文档分类方法。但是，到目前为止很少 j 有研究者涉及文档分类效率方面的研究￥本文就提高文档分类效率进行了研究， 提出了一种快速文档分类方法，其核心技术是一方面对文档训练库进行删减，另 一方面，对文档建立相似度索引。本文取得了以下研究成果： 1．提出了删减训练文档库的算法。针对训练文档库中训练文档对文档类的 作用不同，在保证没有造成分类性能严重下降的前提下，可以删除一些 作用不大或冗余的训练文档，加快文档分类过程。实验证明这个算法在 各种不同分类情况下，都可以显著地加快分类速度而没有造成分类性能 明显下降； 2．提出了文档相似度索引算法，据我们所知，这是第一次将索引技术应用 于文档分类。尽管目前实验中采用的塞i!蛰本并没有显著地改善分类速 度，但是通过寻找新的高维索引技术来加快kNN分类速度的思想是可行 的； 3．提出了一种改进文档向量之间相似度计算的方法。针对文档向量矩阵实 际中往往是稀疏矩阵的情况，我们采用诃～文档的倒排表技术，可以一 次高效地计算出测试文档与所有训练文档的相似度。 关键词：快速文档分类训练库删减文档相似度索} ／’ 7 、—／?～，? v AbstractAbstract Abstract Abstract 渐曲the explosion in the availability of text informationj text classification research gains more and more attention from both database community and information retrieval arerla，for its promising application in many fields，such as digital library，office automation，software engineering，and publishing industry etc． Though the performance of text classification has been studied a lot，such as the document representation model，document feature selection,and method of classification，etc．，few researches addressed the efficiency of text classification．This thesis investigated the issue of efficiency of text classification and achieved the following contributions： 1． An algorithm to reduce the size of the training document set is proposed． We could delete some trivial training documents without dramatic loss of performance of text classification．Our experiments pro、e the algorithm is effective and e佑cient． 2． A similarity distance index technique is introduced to accelerate the speed of kNN algorithm．To the best of our knowledge，it is the fn-st time to apply indexing technology into text classification field．Though current experiments showed the indexing technique improved the efficiency gently,we believe that it is feasible to accelerate text classification speed by building the similarity indexing using other high-d