基于语义概念属性的文本聚类的研究.pdfVIP

情报学报 z鲫·1000一o-，s 船器揣嚣毒嚣‰：嚣jP嚣蕊!黑 25 2006 第25卷428—431，2006年10月 Vol 428—431 Ocmher 基于语义概念属性的文本聚类研究 冯垢孙济庆 (华东理工大学科技信息研究所，上海200237) 摘要 针对文本处理中基于关键词的文本聚类方{击的局限性，本文提出了基于语义概念属性的文本聚类。引 K-means 人《HwNeO中的语义表示方法用义原定义语义概念，并作语义特征选取。经使用K-means算法和Biseetlng 算法验证．均优于基于关键词的文本聚类。 关键词 文本聚类文本处理语义 ． 多共同项。此外，由于在文章撰写时修辞的缘放，对于同一 1引言 语义概念．为了避免用词重复，常常出现同义替换现象，所以 ．将词犯映射到语义概念一级，可以更加全面地反映文本之阃 对文本的自动加工处理有多种不同的方法，以聚类为 的相似程度。 倒，在传统的文本聚类研究中基于关键词的文本聚类方法占 我们引入(HowS酏)中的语义表示方法作为我们引人语 主导地位，能直接对文本进行处理。但在对实际的自然语言 义概念的方式：用义原定义语义概念。相对于词j[而言，具 文本进行处理操作中也有很大的局限性，主要有以下几方 有以下优点： 把语义分解成为义原可以很好地解决一义多词的同题， 面。 词语同义性：不同的词语可咀表达一个相同的概念。在 文本聚类中。这是需要解决的主要的问题之一，解决好了这 均定义为。conjurerl电脑”，因此从义原这一层面来说我们 可以把它们视为语义等同的词语。其实从这个层面上来理 个问题，有助于召回率的提高。比如“电脑”和。计算机”表达 解，我们可以把某个概念的中文和英文单词同样看做是一个 的都是“电子计算机”遮一个概念，但这两词的外在表现形式 一义多词的一种形式，这样如果我们的分类是基于语义上 却不一样，基于关键词的分类方法却将其作为完全不同的词 的．只要解央好了排歧的问题，我们并不需要特殊处理就可 来对待。 ‘ 以解决跨语种文本分类与聚类的问题。 词语多义性：多义词指这样一类词．它们可代表多个概 通过词义排歧，解决一词多义的问题。如“病毒”既可代 念，并且每个概念可能分属不同的类别。多义词的数量很 表医学上的“病毒”概念，也可代表计算机类的。病毒”概念。 多．而且太多数为名词。还有部分词，它们在表面不是多义 比如我们可以认为，在计算机或程序等与Ⅱ相关上下文环 词．但在不同类别内却