一种基于LDA的潜在语义区划分及Web文档聚类算法.pdf

第25卷第l期 中文信息学报 V01．25．No．1 11 201 PRoCESSINGJan．·20 1年1月 J()URNALOFCHINESEINF()RMATIoN 文章编号：1003-0077(201I)01-0060—06 一种基于LDA的潜在语义区划分及Web文档聚类算法 刘振鹿1，王大玲1’2，冯时1，张一飞h2，方东昊1 (1．东北大学信息科学与工程学院，辽宁沈阳110819； 2．医学影像计算教育部重点实验室(东北大学)，辽宁沈阳110819) 摘要：该文应用LDA模型进行文档的潜在语义分析，将语义分布划分成低频，中频、高频语义区，以低频语义区 的语义进行Web游离文档检测，以中、高频语义区的语义作为文档特征进行文档聚类，采用文档类别与语义互作 用机制对聚类结果进行修正。与相关工作比较。该文不仅应用LDA模型表示文档。而且进行了深入的语义分布区 域划分，并将分析结果应用于Web文档聚类。实验表明，该文提出的基于LDA的文档类别与语义互作用聚类算 法获得了更好的聚类结果。 关键词：LDA；潜在语义；语义分布；文档聚类 中图分类号：TP391 文献标识码：A Web An ofLatentSemanticPartitionand Document Approach Space Clustering LIUZhenlu‘．WANG Shil，ZHANGYifeil”，FANG Dalin91”，FENG Dongha01 (1．SchoolofInformationScienceand 110819，China； Engineering，NortheasternUniversity，Shenyang，Liaoning ofMedieal 2．KeyI。ahoratory ImageComputing，NortheasternUniversity， ofEducation l10819，China) Ministry Shenyang，I，iaoning semanticsofdocumentsand thesemantic Abstract：This theLDAmodeltO latent partition paperapplies analyze into and semanticsinlow areusedtOdetectoutlier low，middlehigh space．The frequencyspace space frequency in aredevotedtodocument asfeaturesof webdocuments．Thesemanticsmiddleand highfrequencyspace clustering