基于长度和位置信息的双语句子对齐方法_李维刚.pdfVIP

第 38卷 　第 5 期 哈 　尔 　滨 　工 　业 　大 　学 　学 　报 Vol38 No5 　 　 2 0 0 6年 5 月 JOURNAL OF HARB IN IN ST ITU TE OF TECHNOLO GY M ay 2006 　　　　　　 基于长度和位置信息的双语句子对齐方法 李维刚 , 刘 　挺 , 张 　宇 , 李 　生 (哈尔滨工业大学 计算机科学与技术学院 , 黑龙江 哈尔滨 15000 1, Em ail: lee@ ir. h it. edu. cn) 摘 　要 : 提出了一种利用句子长度和位置信息的双语句子对齐方法 ,该方法的根本思想是 :一定长度的句对 ( ) 在双语文本中的位置分布是相似的 ,利用 1 ∶1 型的句珠代替高频词作为候选锚点 ,使这种方法具有通用 性. 利用多种形式的测试数据进行的评价结果显示 ,这种方法有着 良好的健壮性和语言无关性 ,有效地解决 了双语真实文本的句子对齐问题. 关键词 : 句子对齐 ,双语语料库 ,锚点 ,长度和位置 中图分类号 : TP39 1 文献标识码 : A 文章编号 : 0367 - 6234 (2006) 05 - 0689 - 04 B ilingua l sen tence a lignm en t m ethod ba sed on sen tence length and loca tion inform a tion L IW eigang, L IU Ting, ZHAN G Yu , L I Sheng ( Schoo l of Compu ter Science and Technology, H arb in In stitute of Techno logy, H arb in 150001, Ch ina, Em ail: lee@ ir. h it. edu. cn) A b stract: Th is p ap er de scribe s a new m ethod for align ing real b ilingual texts u sing sen tence p airs’length and location inform ation. The model wa s motivated by the ob servation that the location of a sen tence p air w ith cer tain length is d istribu ted in the who le text sim ilarly. It u se s ( 1: 1) sen tence bead s in stead of h igh frequency word s a s the candidate anchors to m ake the m ethod general. The m ethod wa s develop ed and evaluated through m any d ifferen t te st data. The re su lts show that it can ach ieve good aligned p erform ance and be robu st and lan guage indep enden t. It can re so lve the alignm en t p rob le