拼音到汉字自动转换技术的改进与实现.pdfVIP

第7卷 第24期 2007年12月 科 学 技 术 与 工 程 Vo1．7 No．24 Dec．2007 1671-·1819(2007)24·-6348·-05 Science Technology and Engineering @ 2007 Sci．Tech．Engng． 拼音到汉字自动转换技术的改进与实现 刘 佳 韩秀玲 (东华大学，上海201620) 摘 要 拼音到汉字转换一直是中文信息处理研究的一个重要方面。在前人的基础上改进了他们所使用的数据平滑算法， 给出了两种应用于不同场合的公式，使得在结果中能够得到不同要求的解。同时，给出了利用隐马尔可夫模型(HMM)来设 计实现这样一种转换，并且利用Viterbi算法来对模型进行求解的设计细节与方法。最后利用随意选择的语料库来对计算机 进行训练学习并给出了测试结果，同时分析了错误结果的原因O 关键词 拼音汉字转换 隐马尔可夫模型 Viterbi 语料库学习 数据平滑 中图法分类号 TP391．12； 文献标识码 A 随着计算机的发展，文档的处理开始从纸面向 以边想边输入，如果可以发展一种方法使得在输入 电脑过渡，其中汉字的输入速度成了影响计算机处 拼音的同时，计算机通过智能计算同步实现文字转 理信息快慢的一个瓶颈。汉语和英语在写法上存 换，那么就可以达到与英文接近的输入速度。 在很大的区别，一般汉字通过键盘输入拼音然后查 作为自然语言处理的重要内容，本文尝试利用 找对应汉字表，所以相比于英文，汉字的输入速度 隐马尔可夫模型来设计实现上面提到的汉语拼音到 仅为前者的二分之一，并且拼音输入重码率太高， 文字的自动转换。 输入效率低。针对这一问题，近些年来出现了一些 以词为单位的输入法，如紫光拼音、拼音加加等都 1 统计语言模型 具有此类功能，但是以词为单位的输入法相比于英 语的输入效率仍显不足。另外有一种快速的输入 1．1 Markov模型 法，称为形码，形码是反映依照汉字的字形笔画进 Markov模型可以看作由Markov源和与之相应 行编码的方法，五笔字型编码是这类编码方法的主 的转移概率所组成。Markov源是多个状态的集合， 要代表。五笔字型以其重码率低，输入速度快著 各个状态通过“转移”来相互连接。从状态S出发 称，被专业录入人员广泛采用，但其编码复杂、难 的一个“转移”t拥有一个概率值 (t)，它表示从状 学难用，不适于“边想边打”，难于被一般用户所 态s转移到t所指向的另一个状态的概率。 接受。 Markov源的转移概率参数满足以下条件： 拼音的简单易学，必定是今后的发展方向。并 fQs(t)=0， 当t不是从状态s出发时； 且随着目前教育的普及，几乎人人都熟练地掌握汉 I∑Qs(t)=l。 语拼音，凡是具有小学以上文化程度的人，只要简 Markov源的特点是某一状态的发生概率仅与 单地加以说明，就可以掌握。与五笔不同，拼音可 其以前的状态有关，而和其他状态无关。 2007年9月7日收到 1．2 拼音到汉字自动转换的隐 Markov模型 第一作者简介：刘 佳(1983一)，男，研究生，研究方向：智能算 (I-IMM J 法。 假设： 24期 刘 佳，等：拼音到汉字自动转换技术的改进与实现