中文短语相似度算方法研究及应用.pdfVIP

摘 要 文本相似度计算作为中文信息处理中的一项基础性技术，被广泛应用到文本 分类、文本聚类、信息检索等多个领域，长期以来受到了众多学者的关注和研究。 在信息大爆炸所带来的大量文本信息的数据堆积中，很大一部分是短文本数据或 短语数据，因此，在短文本数据信息的处理问题上，短语的相似度计算变得越来 越重要。本文就是针对中文短语信息的处理问题，提出了一种新的中文短语相似 度计算方法。在算法的设计过程中，本文分析了短语间相匹配文字的位置、匹配 位置的偏移值、匹配文字长度等多种因素，提媳了中文短语闻相似度的计算公式， 并给出了该算法的实现代码。 曝绕中文短语相似度计算问题，本文主要做了以下几方面王作： 首先，研究了多种文本相似度计算方法，并分析了文本相似度计算的现状和 几种经典的文本相似度算法，对其适用领域和优缺点进行了剖析：分析了文本相 似度计算在文本聚类中的应用和凡种文本聚类方法。。 其次，在对现有文本相似度计算方法分析研究的基础上，针对短语级别文本 的信息处理润题，提出了一种新的中文短语相似度计算方法，然后对该方法的合 理性进行了检验，并通过将不同的文本相似度算法用于同一种聚类算法，对本文 提出的方法的有效性进行了检验。 最后，将中文短语相似度计算方法用于高校培养计划管理系统中的相似课程 排查模块，实现了相似课程的聚类，并对整个系统进行设计实现。 本课题的研究及其成果对于中文信息处理中的多个领域尤其是中文短语的处 理问题，都有一定的参考价值和良好的应用前景。 关键字：信息处理；文本聚类；中文短语相似度；匹配偏移；相似课程排查 AB STRACT Asafundamental inChineseinformation calculation technology processing，the of in text is suchfieldsastext and classification，text similarityapplied clustering informationretrievalandSO hasbeenconcernedandstudied on，which bymany for scientistsa time．Inthe textdata ofthe long huge brought byhighlydevelopment information ofwhichareshorttextor technology,alargemajority text theshort information of calculation processing，theproblemphrasesimilarity becomesmoreandmore addressesanew forChinese important。Thispaper algorithm tO asolution of phrasesimilarity tothe informatio