段落检索及其相关算法研究.pdfVIP

《现代图书情报技术》　２００７年　第２期 知识组织与知识管理 　　总第１４７期  段落检索及其相关算法研究 １，２ １ 付鸿鹄 　张晓林 １ ２ （中国科学院文献情报中心　北京 １０００８０）　 （中国科学院研究生院　北京 １０００４９） 　　【摘要】　总结段落检索及其涉及的段落划分和相关算法，讨论文本分割和段落抽取的差别，介绍并比较几 种常用的段落划分方法以及几类段落检索算法，在此基础上对段落检索的研究方向进行展望。 　　【关键词】　段落检索　信息检索　文本分割　　　　【分类号】　ＴＰ３１ ＲｅｓｅａｒｃｈｏｎＰａｓｓａｇｅＲｅｔｒｉｅｖａｌａｎｄｔｈｅＡｌｇｏｒｉｔｈｍｓ １，２ １ ＦｕＨｏｎｇｈｕ 　　ＺｈａｎｇＸｉａｏｌｉｎ １（ＬｉｂｒａｒｙｏｆＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１０００８０，Ｃｈｉｎａ） ２（ＧｒａｄｕａｔｅＳｃｈｏｏｌｏｆｔｈｅＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１０００４９，Ｃｈｉｎａ） 　　【Ａｂｓｔｒａｃｔ】　Ｔｈｉｓｐａｐｅｒｐｒｏｖｉｄｅｄａｎｏｖｅｒｖｉｅｗｏｆｐａｓｓａｇｅｒｅｔｒｉｅｖａｌ，ｉｎｃｌｕｄｉｎｇａｐｐｒｏａｃｈｅｓｏｆｄｉｖｉｓｉｏｎｏｆｄｏｃｕｍｅｎｔｓ ａｎｄｒｅｔｒｉｅｖａｌａｌｇｏｒｉｔｈｍｓ．Ｔｈｅｄｉｆｆｅｒｅｎｃｅｂｅｔｗｅｅｎｔｅｘｔｓｅｇｍｅｎｔａｔｉｏｎａｎｄｐａｓｓａｇｅｅｘｔｒａｃｔｉｏｎｉｓａｌｓｏｄｉｓｃｕｓｓｅｄ．Ｓｅｖｅｒａｌ ｋｉｎｄｓｏｆｐａｓｓａｇｅｒｅｔｒｉｅｖａｌａｌｇｏｒｉｔｈｍｓａｎｄｓｅｖｅｒａｌａｐｐｒｏａｃｈｏｆｄｉｖｉｓｉｏｎｏｆｄｏｃｕｍｅｎｔｓａｒｅｉｎｔｒｏｄｕｃｅｄ．Ａｆｔｅｒｃｏｍｐａｒｉｎｇｏｆ ｔｈｅｓｅａｌｇｏｒｉｔｈｍｓａｎｄａｐｐｒｏａｃｈｅｓ，ｓｏｍｅｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎｓｏｆｐａｓｓａｇｅｒｅｔｒｉｅｖａｌａｒｅｐｒｅｓｅｎｔｅｄ． 　　【Ｋｅｙｗｏｒｄｓ】　Ｐａｓｓａｇｅｒｅｔｒｉｅｖａｌ　Ｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌ　Ｔｅｘｔｓｅｇｍｅｎｔａｔｉｏｎ 　　随着网络技术的迅速发展和普及，用户已经可以快 相关度的影响，检索精度得到提高。 速便捷地检索出大量文档，这些文档中往往只有部分段 　　（２）提高相关内容呈现的有效性：当通过检索发现“相关 落内容与用户需求密切相关，但大量地浏览被检索的文 段落”后，可直接将“确实相关的内容（段落）”呈现出来，而不 ［１］ 是将“可能包含相关内容的整个文档”显示给用户。而且，可 档往往妨碍用户快速筛选出相关的段落。研究表明 ， 当文档很长或者包含多个主题段落时，以段落为检索对 以按照段落相关性来排列显示段落本身，可以按照逻辑关系 象、针对用户查询提供更加精确的文档段落（而不是提供 显示相互关联的多个段落。 整篇文档），能有效提高用户检索效率，这也使得段落检 　　然而，段落检索也存在一定的困难，不仅段落检索要 索成为信息检索的一种重要形式。 求有可靠、健壮的方法从文档中分离出段落，而且文档划 分成段落意味着会产生更多的需要排序的项，导致检索 １　段落检索 有更高的计算复杂度。另外，对于段落是变长