濒危语言与汉语平行语料库动态构建技术研究-计算机应用与软件.PDF

第３５卷第９期　　　 计算机应用与软件 Ｖｏｌ３５Ｎｏ．９ ２０１８年９月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｓｅｐ．２０１８ 濒危语言与汉语平行语料库动态构建技术研究 １ １ １ ２ １ １ 于重重 　曹　帅　张青川　尹蔚彬 　孙沁瑶 　刘　畅 １（北京工商大学计算机与信息工程学院　北京 １０００４８） ２（中国社会科学院民族学与人类学研究所　北京 １０００８１） 摘　要　　利用自然语言处理的各种技术完成濒危语言的口语记音、转写、标注和翻译是保护国家濒危语言非物 质文化遗产的主要途径。濒危语言是低资源语言，在机器翻译过程中，构建其语言模型面临的主要问题是语料不 足。以濒危语言———吕苏语的语料作为被扩展对象，首先提取吕苏语的关键词，然后依据提取的关键词在静态网 页下爬虫获取大量的中文文本，最后通过基于最小哈希的Ｊａｃｃａｒｄ算法来计算吕苏语语料与获取的中文文本之间 的相似度，将相似度较高的中文文本作为吕苏语的汉语平行扩展语料。这一过程有效地解决了濒危语言在机器 翻译过程中的语料不足问题。 关键词　　濒危语言　吕苏语　语料扩展　平行语料库 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１８．０９．０１１ ＤＹＮＡＭＩＣＣＯＮＳＴＲＵＣＴＩＯＮＴＥＣＨＮＯＬＯＧＹＯＦＥＮＤＡＮＧＥＲＥＤＬＡＮＧＵＡＧＥ ＡＮＤＣＨＩＮＥＳＥＰＡＲＡＬＬＥＬＣＯＲＰＵＳ １ １ １ ２ １ １ ＹｕＣｈｏｎｇｃｈｏｎｇ　ＣａｏＳｈｕａｉ　ＺｈａｎｇＱｉｎｇｃｈｕａｎ　ＹｉｎＷｅｉｂｉｎ　ＳｕｎＱｉｎｙａｏ　ＬｉｕＣｈａｎｇ １（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＢｅｉｊｉｎｇＴｅｃｈｎｏｌｏｇｙａｎｄＢｕｓｉｎｅｓｓＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００４８，Ｃｈｉｎａ） ２（ＩｎｓｔｉｔｕｔｅｏｆＥｔｈｎｏｌｏｇｙａｎｄＡｎｔｈｒｏｐｏｌｏｇｙ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｏｃｉａｌＳｃｉｅｎｃｅ，Ｂｅｉｊｉｎｇ１０００８１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｕｓｉｎｇｔｈｅｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇｔｏｄｅａｌｗｉｔｈｓｏｍｅｐｒｏｂｌｅｍｏｆｅｎｄａｎｇｅｒｅｄｌａｎｇｕａｇｅｉｓａｎｉｍｐｏｒｔａｎｔ ｓｏｌｕｔｉｏｎｔｏｐｒｏｔｅｃｔｔｈｅｎａｔｉｏｎａｌｅｎｄａｎｇｅｒｅｄｌａｎｇｕａｇｅｓｉｎｔａｎｇｉｂｌｅｃｕｌｔｕｒａｌｈｅｒｉｔａｇｅ．Ｅｎｄａｎｇｅｒｅｄｌａｎｇｕａｇｅｉｓａｌｏｗｒｅｓｏｕｒｃｅ ｌａｎｇｕａｇｅ．Ｔｈｅｍａｉｎｐｒｏｂｌｅｍｉｎｃｏｎｓｔｒｕｃｔｉｎｇｅｎｄａｎｇｅｒｅｄｌａｎｇｕａｇｅｍｏｄｅｌｉｓｔｈｅｌａｃｋｏｆｃｏｒｐｕｓ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｕｓｅｄｔｈｅ ｃｏｒｐｕｓｏｆＬｉｚｕｌａｎｇｕａｇｅａｓｔｈｅｏｂｊｅｃｔｏｆｅｘｐａｎｓｉｏｎ，ｔｈｅｎｅｘｔｒａｃｔｅｄｔｈｅｋｅｙｗｏｒｄｓ，ｏｂｔａｉｎｅｄａｌａｒｇｅｎｕｍｂｅｒｏｆＣｈｉｎｅｓｅ ｔｅｘｔｓｉｎｔｈｅｓｔａｔｉｃｗｅｂｐａｇｅａｃｃｏｒｄｉｎｇｔｏｔｈｅｅｘｔｒａｃｔｅｄｋｅｙｗｏｒｄｓ，ｃａｌｃｕｌａｔｅｄｔｈｅｓｉｍｉｌａｒｉｔｙｖａｌｕｅｂｅｔｗｅｅｎｔｈｅＬｉｚｕｌａｎｇｕａｇｅ ａｎｄｔｈｅＣｈｉｎｅｓｅｔｅｘｔｓｂｙＪａｃｃａｒｄａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｔｈｅｍｉｎｉｍｕｍｈａｓｈ．ＴｈｅＣｈｉｎｅｓｅｔｅｘｔｓｗｉｔｈｈｉｇｈｓｉｍｉｌａｒｉｔｙｗｅｒｅｕｓｅｄ ａｓａｐａｒａｌｌｅｌｃｏｒｐｕｓｏｆＣｈｉｎｅｓｅｉｎＬｉｚｕｌａｎｇｕａｇｅ．Ｔｈｉｓｐｒｏｃｅｓｓｅｆｆｅｃｔｉｖｅｌｙｓｏｌｖｅｓｔｈｅｐｒｏｂｌｅｍｏｆｉｎｓｕｆｆｉｃｉｅｎｔｃｏｒｐｕｓｉｎｔｈｅ ｐｒｏｃｅｓｓｏｆｍａ