基于小世界模型的中文文本主题分析.pdfVIP

第 2 1 卷 　第 3 期 中文信息学报 Vol . 2 1 , No . 3 2007 年 5 月 J OU RN AL O F C H IN ESE IN FO RMA T ION PROCESSIN G May , 2007 文章编号 : (2007) 基于小世界模型的中文文本主题分析 1 ,2 , 3 3 1 石 晶 , 胡 明 , 戴国忠 ( 1. 中国科学院 软件研究所 人机交互技术与智能信息处理实验室 ,北京 100080 ; 2 . 中国科学院 研究生院 北京 100049 ; 3 . 长春工业大学 ,吉林 长春 13002 1) 摘 　要 : 本文旨在研究如何基于小世界模型进行文本分割 ,确定片段主题 ,进而总结全文的中心主题 ,使文本的主 题脉络呈现出来 。为此首先证明由文本形成的词汇共现图呈现短路径 ,高聚集度的特性 ,说明小世界结构存在于 文本中;然后依据小世界结构将词汇共现图划分为“簇”,通过计算“簇”在文本中所 占的密度比重识别片段边界 ,使 “簇”与片段对应起来 ;最后利用短路径 ,高聚集度的特性提取图“簇”的主题词 ,采取背景词汇聚类及主题词联想的 方式将主题词扩充到待分析文本之外 ,尝试挖掘隐藏于字词表面之下的文本内涵 。虽然国际上已有很多关于小世 界结构及基于其上的应用研究 ,但利用小世界特性进行主题分析还是一个崭新的课题 。实验表明 ,本文所给方法 的结果明显好于其他方法 ,说明可以为下一步文本推理的工作提供有价值的预处理 。 关键词 : 计算机应用 ; 中文信息处理 ;主题分析 ;小世界模型 ;文本分割 ;词汇聚类 中图分类号 : TP39 1 　　　　文献标识码 : A Topic Analysis of Chinese Text Based on Small Worl d Model SH I J ing1 ,2 ,3 , HU Ming3 , DA I Guozhong1 ( 1. Comp ut er Human Int eraction and Int elligent Information Processing L aboratory In stit ut e of Software , The Chinese Academy of Sciences ,Beij ing 100080 ,China ; 2 . Graduat e U niver sit y of Chinese Academy of Sciences , Beij ing 100049 , China ; 3 . Changchun U niver sit y of Technology , Changchun , J ilin 13002 1 , China) Abstract : The p ap er aim s to p erform topic spotting of segment s based on t ext segment ation u sing small world st ruc t ure . Main topic of t he whole t ext i s generalized and t he s