基于PLSA模型及文本分割.docVIP

基于LDA模型的文本分割 石晶1 ，胡明1， 戴国忠2 1（长春工业大学 计算机科学与工程学院，长春 130012） 2（中国科学院 软件研究所 人机交互技术与智能信息处理实验室，北京 100080） Text Segmentation Based on Model LDA SHI Jing and DAI Guozhong (Computer Human Interaction and Intelligent Information Processing Laboratory, Institute of Software , The Chinese Academy of Sciences ,Beijing 100080,China) Abstract Text segmentation is very important for many fields including information retrieval, summarization, language modeling, anaphora resolution and so on .Text segmentation based on LDA models corpora and texts with LDA. Parameters are estimated with Gibbs sampling of MCMC and the word probability is represented. Different latent topics are associated with observable words. In the experiments, Chinese whole sentences are taken as elementary blocks. Variety of similarity metrics and several approaches of discovering boundaries are tried. The best results show the right combination of them can make the error rate far lower than other algorithms of text segmentation. Key words text segmentation; Model Latent Dirichlet Allocation(LDA); similarity metric; boundaries discovering 摘要 文本分割在信息提取、文摘自动生成、语言建模、首语消解等诸多领域都有极为重要的应用。基于LDA模型的文本分割以LDA为语料库及文本建模，利用MCMC中的Gibbs抽样进行推理，间接计算模型参数，获取词汇的概率分布，使隐藏于片段内的不同主题与文本表面的字词建立联系。实验以汉语的整句作为基本块，尝试多种相似性度量手段及边界估计策略，其最佳结果表明二者的恰当结合可以使片段边界的识别错误率远远低于其他同类算法。 关键词 文本分割；LDA模型；相似性度量；边界识别 中图法分类号TP301 文本分割是指在一个书面文档或语音序列中自动识别具有独立意义的单元(片段)之间的边界，其分割对象可以是语音流，网络动态数据，或者书面静态文本。这种预处理在很多领域都有极为重要的应用，比如信息提取、文摘自动生成、文本解析、语言建模、文本导航以及首语消解等。 目前常用的分割方法大致基于如下几种思想：①假定相同、相似或语义相关的词汇倾向于出现在同一片段内[1,2]；②认为特定的语言现象，比如提示短语、停顿标记、韵律特征、指代、句法及词汇的形态同化等与片段首尾隐含某种必然联系[3,4]；③相信合适的概率统计模型能够为片段边界的估计提供可靠依据[5,6]。对于第三种方法，选择合适的模型是保证分割效果的关键。文献[6]采用PLSA模型，但模型中的文档概率值与特定文档相关，因此缺乏处理新文档的自然方法。同时待估参数的数量随着文档数量的增多线性增长，说明模型易于过度拟合。与PLSA模型相比，LDA(Latent Dirichlet Allocation)[7]称得上是完全的生成模型。由于该模型将主题混合权重视为k维参数的潜在随机变量，而非与训练数据直接联系的个体参数集合，推理上采用Laplace近似,变分近似，MCMC(Markov chain Monte Carlo)[8]以及期望-扩散(expectation-propagation)[9]等方法获取待估参数值，所以克服了PLSA的不足。本文介绍的分割方法即以LDA为语料库及文本建模，利用MCMC中的Gibbs抽样近似估算模型