基于话题翻译模型的双语文本纠错.PDFVIP

第３３卷第３期　　　 计算机应用与软件 Ｖｏｌ３３Ｎｏ．３ ２０１６年３月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｍａｒ．２０１６ 基于话题翻译模型的双语文本纠错 陈　欢　张　奇 （复旦大学计算机科学技术学院　上海２１００００） 摘　要　　近年来，随着信息全球化的影响，社交网络文本上的多语言混合现象越来越普遍。许多中文文本中混杂着其他语言的情 况已很常见。绝大多数现有的自然语言处理算法都是基于单一语言的，并不能很好地处理多语言混合的文本，因此在进行其他自然 语言处理任务之前对文本进行预处理显得尤为重要。面对网络文本语义空间双语对齐语料的匮乏，提出一种基于话题翻译模型的 方法，利用不同语义空间的语料计算网络文本语义空间的双语对齐概率，再结合神经网络语言模型将网络混合文本中的英文翻译成 对应中文。实验在人工标注的测试语料上进行，实验结果表明，通过不同的对比试验证明文中的方法是有效的，能提升翻译正确率。 关键词　　网络文本　话题翻译模型　神经网络语言模型 中图分类号　ＴＰ３９１　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１６．０３．０６７ ＴＯＰＩＣＳＴＲＡＮＳＬＡＴＩＯＮＭＯＤＥＬＢＡＳＥＤＢＩＬＩＮＧＵＡＬＴＥＸＴＥＲＲＯＲＳＣＯＲＲＥＣＴＩＯＮ ＣｈｅｎＨｕａｎ　ＺｈａｎｇＱｉ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＦｕｄａｎＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２１００００，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ａｌｏｎｇｗｉｔｈｔｈｅｇｌｏｂａｌｉｓａｔｉｏｎｏｆｉｎｆｏｒｍａｔｉｏｎｉｎｒｅｃｅｎｔｙｅａｒｓ，ｍｕｌｔｉｌｉｎｇｕａｌｍｉｘｉｎｇｐｈｅｎｏｍｅｎａｈａｖｅｂｅｃｏｍｅｉｎｃｒｅａｓｉｎｇｌｙｐｏｐｕｌａｒｉｎ ｓｏｃｉａｌｎｅｔｗｏｒｋｓｔｅｘｔｓ．ＩｔｉｓｑｕｉｔｅｃｏｍｍｏｎｉｎＣｈｉｎｅｓｅｔｅｘｔｓｔｈａｔｏｔｈｅｒｌａｎｇｕａｇｅｓａｒｅｍｉｘｅｄ．Ｓｉｎｃｅｍｏｓｔｏｆｔｈｅｅｘｉｓｔｉｎｇｎａｔｕｒａｌｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇａｌｇｏｒｉｔｈｍｉｓｔｈｅｍｏｎｏｌｉｎｇｕａｌｔａｓｋｂａｓｅｄ，ｔｈｅｍｕｌｔｉｌｉｎｇｕａｌｍｉｘｅｄｔｅｘｔｃａｎ’ｔｂｅｗｅｌｌｐｒｏｃｅｓｓｅｄ，ｔｈｅｒｅｆｏｒｅｉｔｉｓｃｒｕｃｉａｌｔｏｐｒｅｐｒｏｃｅｓｓ ｔｈｅｔｅｘｔｂｅｆｏｒｅｃａｒｒｙｉｎｇｏｕｔｏｔｈｅｒｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇｔａｓｋｓ．Ｆｏｒｔｈｅｌａｃｋｏｆｔｈｅｃｏｒｐｕｓｏｆｂｉｌｉｎｇｕａｌａｌｉｇｎｍｅｎｔｉｎｎｅｔｗｏｒｋｔｅｘｔｓｅｍａｎｔｉｃ ｓｐａｃｅ，ｗｅｐｒｏｐｏｓｅｄａｔｏｐｉｃｓｔｒａｎｓｌａｔｉｏｎｍｏｄｅｌｂａｓｅｄｍｅｔｈｏｄ，ｉｔｃａｌｃｕｌａｔｅｓｔｈｅｐｒｏｂａｂｉｌｉｔｙｏｆｂｉｌｉｎｇｕａｌａｌｉｇｎｍｅｎｔｏｆｎｅｔｗｏｒｋｔｅｘｔｓｅｍａｎｔｉｃｓｐａｃｅ ｕｓｉｎｇｔｈｅｃｏｒｐｕｓｉｎｄｉｆｆｅｒｅｎｔｓｅｍａｎｔｉｃｓｐａｃｅｓ，ｔｈｅｎｉｎｃｏｒｐｏｒａｔｅｓｎｅｕｒａｌｎｅｔｗｏｒｋｌａｎｇｕａｇｅｍｏｄｅｌｔｏｔｒａｎｓｌａｔｅｔｈｅＥｎｇｌｉｓｈｉｎｍｉｘｅｄｎｅｔｗｏｒｋｔｅｘｔ ｔｏｃｏｒｒｅｓｐｏｎｄｉｎｇＣｈｉｎｅｓｅｔｅｘｔ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｗａｓｓｅｔｏｎａｍａｎｕａｌｌａｂｅｌｌｅｄｔｅｓｔｃｏｒｐｕｓ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｉｎｄｉｃａｔｅｄｔｈａｔｔｈｒｏｕｇｈｄｉｆｆｅｒｅｎｔ ｃｏｍｐａｒａｔｉｖｅｅｘｐｅｒｉｍｅｎｔｓｉｔｗａｓｐｒｏｖｅｄｔｈａｔｔｈｅｐｒｏｐｏｓｅｄａｐｐｒｏａｃｈｗａｓｅｆｆｅｃｔｉｖｅａｎｄｗａｓａｂｌｅｔｏｉｍｐｒｏｖｅｔｒａｎｓｌａｔｉｏｎａｃｃｕｒａｃｙ． Ｋｅｙｗｏｒｄｓ　　Ｎｅｔｗｏｒｋｔｅｘｔ　Ｔｏｐｉｃｓｔｒａｎｓｌａｔｉｏｎｍｏｄｅｌ　Ｎｅｕｒａｌｎｅｔｗｏｒｋｌａｎｇｕａｇｅｍｏｄｅｌ 料，许多自