一种利用本体关联度改进地TF-IDF特征词提取方法.pdfVIP

摘 要 摘 要 传统的 TF-IDF 文本特征词提取方法是一种基于统计的方法，它将词语作为独立的 单元进行处理，通过统计文本中词语出现的频次及文本集合中包含同一词语的文本数量 确定文本的特征词。该方法虽然能够在一定程度上降低计算时间、简化文本特征词提取 的步骤，但存在未考虑词语之间的关联关系、忽略区分度较高的低频词等不足，从而限 制了文本特征词提取的精确度。 本体具有良好的概念层次结构和对逻辑推理的支持，并能够通过概念层次图表示概 念术语间的关联关系。为了优化传统的文本特征词提取方法，将本体引入到文本特征词 提取中，并构建了适合论文实验的两个简单领域本体，通过改进现有的语义相似度和语 义相关度计算方法得到一种本体关联度计算方法，利用该计算方法计算领域本体中概念 之间的本体关联度。 本文提出一种利用本体关联度改进的文本特征词提取方法。该方法首先利用传统的 TF-IDF 方法构建候选特征词集合和非候选特征词集合，然后根据领域本体知识在非候 选特征词集合中提取候选特征词的本体关联词；再利用候选特征词与其本体关联词之间 的本体关联度、候选特征词的初始权重、本体关联词的个数以及本体关联词自身的权重 调整候选特征词的权重；最后根据调整后的权重得到新的候选特征词排序。该方法考虑 了词语之间的关联关系，并且能够将区分度较高的低频词识别出来作为文本特征词，从 而弥补了传统的 TF-IDF 文本特征词提取方法在词语之间关联关系、区分度较高的低频 词识别等方面的不足。实验结果证明，该方法能够有效提高文本特征词提取的准确度。 关键词 文本特征词提取 TF-IDF 本体关联词 本体关联度 I Abstract Abstract Traditional TF-IDF text feature extraction method is a method based on statistical theory. This method takes text feature as a separate unit, and determines the feature word of the text by counting the frequency of a word which appears in a text and the number of the texts which include this word and appear in the text set. Although this method can reduce the computation time to some extent, and simplify the steps of the text feature extraction, but this method have weak points, such as not considering the relationship between words, ignoring the words with low frequency which can express the content of the text, and so on. Because of the weak points, the accuracy of extracting text feature by this method is not high. Ontology has a good concept of hierarchy and support logical reasoning, and expresses the relationship between terms by the concept of hierarchical graph. In order to optimize the traditional TF-IDF text feature extraction met