隐式分词连写的中文输入法.pdfVIP

摘 要 众所周知，各种自然语言文本的处理都是以词为基础的，因 为词是最小的表示独立语义的语言单位。可是，汉语文本被表示 为连续的汉字串，词与词之间没有明确的分隔标记。显而易见， 自动识别词边界，即将汉字串切分为正确的词串的分词问题，就 成为了实现中文信息处理的各项任务中的首要问题。长期以来， 分词问题也严重地阻碍了中文信息处理的发展。 从20 世纪80 年代提出自动分词以来，很多专家学者为之付 出了不懈的努力，开发了很多具有实用性的研究成果。但这些已 有的分词系统都是对已经存在的静态文本进行分词，面对文本信 息的海量递增，对静态文本进行分词所付出的代价将无法承受。 本文结合中文信息处理的发展趋势，提出了一种隐式分词连写的 中文输入法，把目前中文信息处理不可逾越的一个阶段——分 词，提前到文本输入的时候进行，这是以最低耗费和最高精度进 行分词的最佳时期。用户进行汉语输入时，该输入法将输入的汉 字串自动按照《中华人民共和国国家标准—信息处理用现代汉语 分词规范》(GB/T 13715-92)转换成汉语词串的形式并进行保存； 并在分词算法中引入了一种新的计算方法——黏结度，通过对动 态信息，上下文信息进行分析，提高分词精度，减少开销。采用 这种输入方法，就可以把长期以来中文文本在计算机内的表达形 式由字串的形式转换为词串的形式，它将促使中文信息处理中的 思想和做法从一贯以字为处理对象转变为以词为处理对象，并将 促进各种中文信息处理的发展。如果这种输入法得以推广，它将 引起的不仅是中文文本的机内表达形式的改变，甚至是整个中文 文本表达形式的一场革命。 本文中我们着重论述了这项工作的意义、它所涉及到的思 想、设计方法以及实现过程；给出了其中主要的模块，算法，以 及与用户交互的界面。 关键字：分词；汉字输入；黏结度；中文信息处理 2 Abstract As is known to all, every natural language processing is better based on words, because words are the smallest linguistic units with independent meaning. Chinese texts are only concatenations of characters. Chinese words are not delimited by spaces in texts as that in English. Chinese word segmentation is therefore the first step for any Chinese information processing and hinders seriously its development. Since the automatic word segmentation was brought forward in 1980s ,many exports and scholars have made great efforts ,and have developed several practical systems . But all the systems just can dispose the static texts .Face with the rapid increase of static texts ,the expense of segmentation became too large to endure .So considering the Chinese information procession’s development trend ,we designed a new Chinese input approach with implicit word segmentation. While users input Chinese texts,