面向概括性小文本的文本分割算法.pdfVIP

第34卷 第22期 计 算 机 工 程 2008年 11月 VoL34 No．22 ComputerEngineering November2008 · 软件技术与数据库 · 文章编号：loo03428(20o8)22—_oo43__一I3 文献标识码：A — —i 面向概括性小文本的文本分割算法 陈 源，陈 蓉，胡俊锋，林 霖，张靖波，于中华 (四川大学计算机学院，成都 610064) 摘 要：文本分割是自然语言文本处理的一项重要研究内容。该文针对现有模型无法有效分割概括性小文本的不足，提出基于隐马尔可夫 模型的统计算法。该算法利用小文本中各结构块的长度及词汇信息，对概括性小文本进行同一主题不同论述侧面的分割。对发射概率设计 了基于句群和基于分割点2种不同的计算方法。以Medline摘要为样本进行的实验表明，该算法对概括性小文本分割是有效的，明显好于 经典的TextTiling算法。 关健诃：文本分割；概括性小文本；隐马尔可夫模型；边界识别；相似性度量 TextSegmentationAlgorithm OrientedtoSmallGeneral—text CHENYuan，CHENRong，HUJun-feng，LINLin，ZHANGJing_bo，YUZhong-hua (SchoolofComputerScience，SichuanUniversity，Chengdu610064) [Abstract]Textsegmentationisanimportantfiledintheareaofnaturallanguageprocessing．However,thereisade~ctthattheexistingmodels cannoteffectivelysegmentsmallgeneral—text．Forthereason，analgorithm basedonHiddenMarkovModeI(HMM)isproposedinthispaper．The algorithm segmentsasmallgeneral—textwithasingletopicintoitsdifferentaspectsofdiscussionusingthelengthdistributionofeverystructure blockandtheterms．TwomethodsaredesignedforcomputingsymbolemissionprobabilitiesoftheHMM，oneofthem isbasedonsentencegroup whilehteotherisbasedonsegmentationpoint．ExperimentsonMedlineabstractsshow thattheeffectofhtealgorithm proposedismuchbetterthan theTextTilingalgorithm． [Keywords]textsegmentation；smallgeneral—text；HiddenMarkovModel(HMM)；boundaryrecognition；similraitymetric l 概述 者已经提出了一系列的模型和算法，来解决文本的自动分割 当前正处在一个被大量信息 “淹没”的时代，如何快速、 问题。依据分割所基于的信息类型，可以将现有方法归结为 准确地获取所需要的信息，将信息变成决策所需要的知识， 3大类…：基于词汇分布，基于特定的语言现象和基于概率统 已经成为知识经济面临的重要课题。传统的信息检索系统， 计。基于词汇分布的分割算法假设分割点两侧的单词分布不 如搜索引擎等，在处理自然语言文本时，简单地将文本看成 同，分割点的确定与其两侧不同单词的出现有关