领域语言模型及其在中文输入系统中的应用.pdfVIP

第２９卷第８期　　　 计算机应用与软件 Ｖｏｌ２９Ｎｏ．８ ２０１２年８月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ａｕｇ．２０１２ 领域语言模型及其在中文输入系统中的应用 孙　晓　李培峰 （苏州大学计算机科学与技术学院　江苏苏州２１５００６） 摘　要　　提出一种构建领域语言模型的策略，并基于余弦相似度提出一种模型融合的方法，以便将领域语言模型融入动态自学习 语言模型，该语言模型可应用于中文输入系统。实验表明，加载了领域语言模型的中文输入系统不仅降低了平均码长，而且显著提 高了首字命中率。 关键词　　领域语言模型　相似度　模型融合　动态自适应语言模型　中文输入系统 中图分类号　ＴＰ３９１　　　　文献标识码　Ａ ＳＰＥＣＩＡＬＤＯＭＡＩＮＬＡＮＧＵＡＧＥＭＯＤＥＬＡＮＤＩＴＳＡＰＰＬＩＣＡＴＩＯＮ ＩＮＣＨＩＮＥＳＥＩＮＰＵＴＳＹＳＴＥＭ ＳｕｎＸｉａｏ　ＬｉＰｅｉｆｅｎｇ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳｏｏｃｈｏｗＵｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ２１５００６，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｔｈｅｐａｐｅｒｐｒｅｓｅｎｔｓａｓｔｒａｔｅｇｙｏｆｃｏｎｓｔｒｕｃｔｉｎｇｓｐｅｃｉａｌｄｏｍａｉｎｌａｎｇｕａｇｅｍｏｄｅｌ，ａｎｄａｍｏｄｅｌｆｕｓｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｃｏｓｉｎｅ ｓｉｍｉｌａｒｉｔｙａｓｗｅｌｌｉｎｏｒｄｅｒｔｏｉｎｔｅｇｒａｔｅｔｈｅｓｐｅｃｉａｌｄｏｍａｉｎｌａｎｇｕａｇｅｍｏｄｅｌｉｎｔｏｄｙｎａｍｉｃｓｅｌｆａｄａｐｔｉｖｅｌａｎｇｕａｇｅｍｏｄｅｌ．Ｓｕｃｈｌａｎｇｕａｇｅｍｏｄｅｌｃａｎ ｂｅａｐｐｌｉｅｄｔｏＣｈｉｎｅｓｅｉｎｐｕｔｓｙｓｔｅｍ．ＥｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅＣｈｉｎｅｓｅｉｎｐｕｔｓｙｓｔｅｍｗｉｔｈｔｈｅｓｐｅｃｉａｌｄｏｍａｉｎｌａｎｇｕａｇｅｍｏｄｅｌｌｏａｄｅｄ ｃａｎｒｅｄｕｃｅａｖｅｒａｇｅｉｎｐｕｔｃｏｄｅｌｅｎｇｔｈ，ａｎｄｃａｎａｌｓｏｉｍｐｒｏｖｅｈｉｔｒａｔｅｏｆｔｈｅｆｉｒｓｔｃａｎｄｉｄａｔｅｃｈａｒａｃｔｅｒ． Ｋｅｙｗｏｒｄｓ　　Ｓｐｅｃｉａｌｄｏｍａｉｎｌａｎｇｕａｇｅｍｏｄｅｌ　Ｓｉｍｉｌａｒｉｔｙ　Ｍｏｄｅｌｆｕｓｉｏｎ　Ｄｙｎａｍｉｃｓｅｌｆａｄａｐｔｉｖｅｌａｎｇｕａｇｅｍｏｄｅｌ　Ｃｈｉｎｅｓｅｉｎｐｕｔｓｙｓｔｅｍ ［３］在２０１０年提出利用网页特征人为提升部分二元组的权重 ０　引　言 的方法可以使用户模型更符合用户兴趣；文献［４］提出一种动 态自学习模型。 目前，随着网络信息量的不断增大，越来越多的专业领域词 目前越来越多的人对特定领域进行研究，为了建立具有领 汇出现在人们的日常生活中，引发了中文输入系统对快速输入 域特征的模型，复旦大学计算机系引入了本体作为建立领域模 专业领域词汇的迫切要求。虽然利用大量语料训练得到的通用 型的方法［５］；中国科学信息研究所认为多个相邻词多次同时出 语言模型和通过记录用户输入的历史记录得到的用户语言模型 现，则这些相邻词构成新词的可能性比较大［６］；通过ＬＬＲ评分 可以有效提高输入系统的性能，但当输入专业领域的词汇时，效 规则抽取出领域术语，结合多种语义资源计算术语之间的关联 果却不尽人意。然而只有当输入的内容与领域语言模型相匹配 度，采用多重聚类方法得到术语之间的层次关系，进而构造出特 时，才能达到良好的输入效果，因此，如何自动、快速、准确地判 定领域的本体［７］。 定输入内容所属的领域成为利用领域语言模型提高输入性能的