基于潜在语义空间维度特性的多层文档聚类.pdfVIP

清华大学学报(自然科学版)2005年第45卷第S1期 —ISSN10—00-0054 CN 1i-2223／NJ Univ(SeiTech)，2005，V01．45，No．S1 Tsinghua 基于潜在语义空问维度特性的多层文档聚类 刘云峰1， 齐欢1，HU CAI 代建民1 Xiang’an2， Zhiqian92， (】．华中科技大学系统工程研究所，武汉430074； 2．Instituteof of 38152，USA) IntelligentSystems，UniversityMemphis，Tennessee，Memphis，TN 摘要：为实现文档在不同概念层次下的自动聚类，研究了 潜在语义分析(1atentsemantic 潜在语义空间中维度的统计特性，发现对应大奇异值的维度 是一种基于潜概念索引的自然语言统计模型，已被广 描述了语义元素间的共性，对应小奇异值的维度描述了语义 泛应用于信息检索、文档聚类、自动问答系统等领域 元素间的特性，呈现出潜在语义空间维度与概念粒度之间隐 中。基于概念的文档聚类技术近年来发展迅速，潜在 含的对应关系。基于这种认识，通过采用不同维度来实现文 语义分析与其他基于概念的文档聚类方法相比，优势 档在不同概念粒度下的聚类，并获得了很好的聚类准确率。 在于需要人的参与性少，可计算性和可操作性强。 另外，在基于潜在语义分析的文档聚类算法中，采用文档自 检索矩阵的行向量，代替低维文档向量作为聚类对象，获得 知识结构存在隐含的层次性，不能简单地用同 了更好的聚类准确率。 等层次的类别来划分，采用合理的知识层次结构有 关键词：信息处理；潜在语义分析；文档自检索矩阵；文档 利于知识的组织和管理，因此多层次文档聚类的研 聚类；概念粒度 究越来越受到关注。本文提出一种基于LSA的多层 次文档聚类算法。 391 中图分类号：TP 文献标识码：A 文章编号：1000—0054(2005)S1—1783—04 1潜在语义分析基本方法 潜在语义分析认为自然语言中存在某种潜在语 documents Multi—hierarchy based 义结构，支配词语的使用和文档的构成。LSA利用 onLSA clustering space value character 截断的奇异值分解(singular dimensionality LIU Huanl，HU SVD)生成的低维潜在语义空间来描述语言元素间 Yunfen91，OI Xiang’en2， CAI Zhiqian92，DAIJianminl 的语义结构。不同于向量空间模型(vectorspac