一种基于词树的高效解码算法.pdfVIP

第27卷摇 第8期 计 算机 技 术 与发 展 Vol.27摇 No.8 2017年8月 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 COMPUTERTECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 Aug. 摇 2017 一种基于词树的高效解码算法 1 1,2 1,3 张志强 ,张太红 ,董摇 峦 (1.新疆农业大学计算机与信息工程学院,新疆 乌鲁木齐 830052; 2. 中国农业大学信息与电气工程学院,北京 100083; 3.河海大学计算机与信息工程学院,江苏 南京 210098) 摘摇 要:音字转换是汉语言信息处理的一个重要方面,在语音识别、汉语拼音输入等方面都有广泛的应用。 为了找到一种 行之有效的音字转换解码算法,在研究拼音分词与词树理论并分析词树求解过程的基础上,提出了基于语言模型实现音 字转换的高效解码算法。 该算法采用零概率重估、路径剪枝和多音字处理等多项技术,通过对词树进行的剪枝处理、对常 用词的处理以及对解码过程中所产生多音字的处理,实现了普遍意义上的音字转换。 为验证所提算法的有效性和可行 性,基于新疆维吾尔自治区科技计划项目《多语种民族特色文化信息资源处理及共享服务平台》所提供的三组数据进行了 对比实验。 实验结果表明,提出的新算法取得了97.78%的转换准确率,优于其他传统算法。 关键词:拼音分词;词树;语言模型;n-gram模型;音字转换 中图分类号:TP391.1摇 摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2017)08-0043-04 doi:10.3969/j.issn.1673-629X.2017.08.009 An Efficient Decoding Algorithm Based on Word Tree 1 1,2 1,3 ZHANG Zhi-qiang ,ZHANG Tai-hong ,DONG Luan (1.College of Computer Information Engineering,Xinjiang Agricultural University,Urumqi 830052,China; 2.College of Information and Electrical Engineering,China Agricultural University,Beijing 100083,China; 3.College of Computer and Information Engineering,Hohai University,Nanjing210098,China) Abstract:Phonetic conversion isan important aspect of Chinese language information processing,which hasbeen widely used in speech recognition,Chinese Pinyin input and so on.In order to find an effective syllable-to-character decoding algorithm,an efficient decoding algorithmisproposedbasedonthestudyofphoneticwordsegmentation,thewordtreetheoryandthe