同步语音辅助的非连续汉字手写输入研讨.pdf

同步语音辅助的非连续汉字手写输入研究 岳玮宁王衡汪国平 北京大学计算机科学技术系，北京，100871 摘要：汉字是结构和读音的统一体，且结构变化多样且同音字众多。根据汉字的这些特点， 提出了通过语音对笔进行同步辅助校正的非连续汉字手写输入方法。对同时发生的语音输八和 笔输入识别后进行整合，使用户以“边说边写”的方式完成输入。本文首先从理论上分析了该 方法的可行性，而后对其原理和其中的核心技术，多通道信息整合，进行了深八讨论。在模拟 器上进行的实验表明，该方法有效地提高了非连续汉字的输八效率。 关键词：笔式用户界面；语音识别；汉字输入 1．引言 字符输入是交互系统中最常见和重要的环节之一。字符是用户命令的基本载体，其输 入的正确率和效率直接影响着计算机系统能否正确、高效的执行用户命令中的任务，对于 提高整个人机交互的效率至关重要…。笔口31和语音【41是日常生活中最常使用的交互方式， 其自然性是其他任何交互方式所无法比拟的。它们正日益成为主流的交互手段和字符输入 方式。对于我们的汉字输入而言，单纯的笔和语音通道都只利用了汉字一个方面的特征完 成其输入过程：笔输入利用了汉字字形结构的特征；语音输入利用了汉字的发音信息。而 任何一个汉字都是字形结构和读音的结台体，单纯利用其中一“方面而忽视另一方面，势必 将损失某些可以唯一确定待输入汉字的信息，特别是在输入没有语义联系的非连续汉字时， 输入效率的问题表现的尤其明显。 笔输入方式存在的最大问题是长期输入会造成用户疲劳。即使在最常使用的普通“纸． 笔”交互模型中，长时间的书写也会导致用户疲劳和输八效率的下降。这个问题对于计算 机笔输入更为明显，计算机中使用的笔多为特殊材质制成，在光滑的屏幕t进行书写更容 易造成疲劳感，而用户疲劳会直接导致所输入字符的结构变型，从而影响识别率。移动的 环境也会给用户的书写带来困难。同时，汉字本身相对复杂的结构使得上述问题在中文输 入过程中更为明显。西方拼音文字的手写输入过程中，系统所需识别的主要元素只有有限 多个字母，无需考虑其结构关系；而汉字笔划之间的搭配极富变化且相近情况甚多，如“己” 和“已”，这无疑增加了用户输入时的负担和难度，更易造成疲劳。此外，汉字的结构过于 复杂也会影响到识别的正确率。 较之笔输入，语音输入中的问题更为明显。首先是识别率问题，无论是连续中文语音 识别还是单音汉字语音识别，目前都远为达到令人满意的程度。即使语音识别能够得到正 确的读音信息，同音字问题仍然是汉字语音输入中的一个难题。另一个重要问题是：汉字 资助项日：国家自然科学基金项目(60473loo)、国家重大基础研究发展计划973项目(2004CB719403) 联秉作者：岳玮宁r educn E—mail：wnyue@pku 536 第一部分第一届全国人机交互学术会议 中同音字的现象极为普遍，如何从同音字中快速确定用户欲输入的字符是一个难点。对于 用户连续输入的文字而言，连续语音识别引擎可以根据E下文判断当前位置的正确字符。 但在输入非连续汉字的时，例如输入姓名、住址、简单留言等，这些汉字之间没有严格的 词法联系，这时用户就必须像使用拼音输入一样，在众多的同音字中进行筛选。这种筛选 降低了输入的速度，增加了用户负担，在移动计算的环境中该问题尤为突出。 本文对笔和语音进行有机结合，提出通过语音同步辅助的非连续汉字手写输入方法， 使用户能够同时利用汉字音型两方面的特征进行输入，提高汉字的输入效率。 2．方法描述及可行性分析 2．1方法描述 笔和语音的汉字输入中都存在影响输入效率的问题，其原因是它们各自都只利用了汉 字本身特征的一部分而非全部。由此出发，提出了一种同时利用语音和笔通道的输入方法： 在按照笔顺输入的前提下，用户可以一边用笔输入汉字的笔划，一边将这个字的读音输入。 系统将两个通道的输入信息进行同步识别和整合．从而在较短的时间内将欲输入汉字的候 选集合缩小到一个较小的范围内，以此提高非连续汉字输入的速度。例如，当用户发音为 “Zhang”，同音字众多，如果同时通过笔输入笔划“横”，则会将同时符合两个通道信息的 字符“丈，杖”选出，若用户再输入笔划“竖”，则“杖”唯一确定。 2．2可行性分析 上述想法是否能够取得较好的效果取决于两个方面：第…是候选字符集能否在较短的 时间内