语句拼音-汉字转换的智能处理机制分析-中文信息学报.pdfVIP

中　文 　信 　息 　学 　报 第 12 卷 第 2 期 JOURNAL OF CHINESE INFORMATION PROCESSING Vo1. 12 No. 2 语句拼音 - 汉字转换的智能处理机制分析① 章 　森 　宗成庆 　陈肇雄 　黄河燕 中国科学院计算机语言信息工程研究中心 摘要 　语句拼音 - 汉字转换是中文信息处理研究的一个重要方面 ,是键盘汉字输入和 语音输入的核心技术 ,其主要特征是对动态输入的拼音串进行词法分析 ,给出所有可能的 汉语句子 ,然后对这些汉语句子根据上下文环境进行句法分析和语义分析 ,动态调整句子 中的字词 ,输出最佳结果 。近年来 ,语句拼音 - 汉字转换系统大量应用了人工智能技术和 机器翻译的理论 , 以期提高系统转换的准确率和增强系统的智能处理功能 。本文分析了语 句拼音 - 汉字转换系统所采用的核心技术 ,即知识支持 、自动分词和动态调整等 ,讨论了语 句拼音 - 汉字转换的处理方法和过程 ,知识库的组成结构 ,用于拼音串自动分词的算法和 实现 ,音字转换中动态调整的概率模型等 ,本文还分析了现有语句拼音 - 汉字转换系统在 拼音串自动分词和音字转换的动态调整中发生错误的原因 ,并提出了改进方法 。 关键词 　自动分词 　音字转换 一 、引　言 语句拼音 - 汉字转换是中文信息处理研究的一个重要方面 ,是汉字进入计算机的基 础 ,是键盘输入和语音输入的核心技术 。九十年代以来 ,拼音 - 汉字转换的研究已从单字 转换和词语转换发展到了以句子为单位的转换[2 ] ,在实现方法上也大量应用了人工智能技 术和机器翻译的理论 , 以期增强系统的智能处理功能 。近几年 , 国内外出现了一批这类系 统 ,如台湾倚天公司的忘形输入系统 , 哈尔滨工业大学研制 的音声汉字语句输入系统 IN SUN ,北京隆光威公司开发的低冗余序列中文输入系统 AU TOWA Y 等 。 语句拼音 - 汉字转换系统允许连续输入一长串拼音代码 ,或一个句子的拼音代码 ,系 统对输入的拼音代码串进行分析理解 ,并进而转换成相应的汉字串。这一处理思想符合人 们的思维和记忆习惯 ,所以,人们期望语句拼音 - 汉字转换系统比以字词为单位的系统转 换准确率更高 ,智能化程度更高 。 由于计算机技术的迅速发展 ,存储量和响应速度已不是 目前实现语句拼音 - 汉字转换 的主要问题 ,现在对语句拼音 - 汉字转换的研究主要集中在如何提高系统转换的准确率 上 ,但由于汉字是表意文字 ,其注音又采用西文的拼音文字 ,所以对汉字的分析理解必须是 音 、形 、意等多维交叉信息的分析及综合 ,这也是实现语句拼音 - 汉字转换的根本问题所 ① 本文 1997 年 6 月 9 日收到 37 在 。另外 ,还有如下一些问题 : 汉字的句子是由一串连续的汉字组成 ,词与词之间无空格或其它标志 ,所以对汉语句 子的分析理解必须首先对句子进行词语切分处理 , 同汉语句子一样 ,汉语拼音串也存在词 语的切分问题 ,而且其分词模糊性比汉语句子更大[ 1 ,3 ] 。 在汉语中 , 同音字和同音词很多 ,而且分布很不均匀 ,平均每个有调音对应 5 ～6 个汉 字 ,但有些音对应汉字达一百多个[ 1 ] 。 汉语缺少形态变化 ,其语法尚未形成规范化 ,而且人们习惯使用非规范的句子 , 因此 , 汉语语法及语义的研究和应用对提高语句拼音 - 汉字转换系统的转换准确率影响较大 。 二 、知识支持 分析人对汉语句子的理解过程对实现计算机的语句拼音 - 汉字转换是有启示的。人 在处理一句话时所接收的信息是多维的 ,有语音和语调信息 ,有句子的停顿信息和重读信 息 ,可能还有外部表情和身体语言 ,甚至可能还有某些暗示信息等 。人对这些信息 ,利用个 人已有的语言学知识 、专业知识和常识等进行分析综合 ,来推断句子的意义 ,在处理过程 中 ,随着新信息的加入