语句级汉字拼音输入技术评估方法的研究.pdfVIP

第 22 卷 　第 5 期 中文信息学报 Vol . 22 , No . 5 2008 年 9 月 J OU RN AL O F C H IN ESE IN FO RMA T ION PROCESSIN G Sep . , 2008 文章编号 : (2008) 05005 105 语句级汉字拼音输入技术评估方法的研究 汤步洲 ,王晓龙 ,王 轩 ,张 强 ( 哈尔滨工业大学 深圳研究生院 计算机科学与技术学科部 ,广东 深圳 5 18055) 摘 　要 : 该文介绍了语句级汉字拼音输入技术评估方法的研究意义及其重要性 。从信息论角度出发 ,提出了基于 损失函数的语句级汉字拼音输入技术的评估方法 ,它通过损失函数比较经语句级汉字拼音输入系统输出的句子和 相应的标准句子 ,得到描述系统性能的定量指标 。该方法对汉字拼音输入技术的音节流自动切分和音字转换两方面 进行了较全面的评估 。采用手工标注的 1996 年《人民日报》部分语料 ,对 目前流行的汉字拼音输入技术进行了评估 , 实验结果表明:拼音输入技术音字转换准确率最高能达到 64 . 3 % , 音节流自动切分对音字转换的准确率有大约 2 % 的影响。评估结果对今后的拼音输入技术的评估提供了参考价值 ,对汉字拼音输入技术的持续发展有指导意义 。 关键词 : 人工智能 ; 自然语言处理 ;语句级汉字拼音输入技术 ;损失函数 ;音节流自动切分 ;音字转换 中图分类号 : TP39 1 　　　　文献标识码 : A A Study on Chinese Sentential Pinyin Input Method Evaluation TAN G Buzhou ,WAN G Xiaolong , WAN G Xuan , ZHAN G Qiang (Dep art ment of Comp ut er Science and Technology , Harbin In stit ut e of Technology Shenzhen Graduat e School , Shenzhen , Guangdong 5 18055 , China) Abstract : Thi s p ap er int roduces t he significance of evaluation of Chinese sent ential syllable inp ut met ho d sy st em . An app roach based on lo ss function s i s p ropo sed , which u ses lo ss function s to evaluat e t he p erformance of syllable inp ut met hod syst em by comp aring t he inp ut sent ences and st andar d sent ences. Thi s app roach can evaluat e syncop ation of Chinese p honetic st ring and syllabletocharact er conver sion comp rehen sively which ha s been app lied to pop ular sy st ems u sing p artial People ’s Daily in 1996 . The exp eriment al result show s t hat t he best p reci se of syllableto charact er achieves 64 . 3 % and it i