基于阈值自动发现的文章主题段划分.pdfVIP

基于阈值自动发现的文章主题段划分 索红光刘玉树聂坤明 摘要主题段划分是自动文摘系统中进行文章结构分析的重要环节。分析了当前主题段划分研究中存 在的问题。提出了段落的主题相似度概念及其计算公式，公式结合了词的重复特性和段落距离特征。介 绍了根据段落的主题相似度分布自动发现闺值的方法。实验结果表明，该方法对于文章主题段的划分准 确率优于固定阈值选取的方法。 关键词 自动文摘；向量空间模型；段落相似度；主题划分 BasedonAuto—SelectedThreshold Partition Topic SUO Yushu，NIE Hongguang，UUKunming isan text inautomatic important during abstractingsystem．The Abstract：Topicpartition procedure structuring its which in is on and similarity expressioncombining problemtopicpartitionstudydiscussed．Paragraphictopic thecharacteristicsofword’S and distanceate tothedistributionof repetitionparagraph’S presented．According on forautomaticthethresholdisintroduced．The paragraphicsimilaritytopic，analgorithm gaining experiment thatthe of for textisbetterthanfixedthreshold． shows precisiontopicpartitionmulti—topic Words：automaticabstraction；vector model；paragraphicsimilarity；topicsegmentation Key space 1．引言 自动文摘是利用计算机对文章内容进行分析，从中选出最能代表文章主旨的词句，经过重组修饰后 题、位置、提示词等信息对其进行了改进uj。 Edmundson方法对于单主题的文章所做的文摘性能良好，但是当文章篇幅较长，包含有多个主题时， 由于没有按主题比例分配文摘句，致使其文摘覆盖面下降，文摘质量不高。要解决这一问题需要首先对 文章进行结构分析，划分出主题段，然后在每个主题段中应用Edmundson方法计算权值并摘录句子。 主题段(或意义段【2】)是完整地反映同一中心内容的自然段的集合。主题段是介于篇章与自然段落 之间的一个语言单位，一个主题段表达或阐述一个相对独立的意义或话题，从形式上由文章的若干个相 邻的自然段组成。正确地划分主题段，可以对文章的各主题及其联系有所把握，确保摘录的文摘句能全 面地反映文章的各个主题，涵盖文章的最大信息量。文献【3】[4】[5][6]均对文章结构分析与主题划分进行 了研究。 目前文章主题划分的方法大致有三种【5】：(1)基于标题层次；(2)基于相邻段落相似度；(3)滑动窗口方 式。基于标题层次的方法是利用了文章的各级标题进行划分，但由于并非所有文章都带有这种标题的组 织结构，故这种方法适用的范围很小；基于相邻段落相似度的方