浅谈对中文信息处理的认识.docVIP

浅谈对中文信息处理的认识 　　摘要：中文信息处理是一个未来具有广阔前景的科研领域。从中文信息处理的研究内容、主流技术等几个方面浅谈了对计算机中文信息处理的认识。 　　关键词：中文信息处理；语料库；词性标注 　　中图分类号：TP391文献标识码：A文章编号：1009-3044(2008)09-11709-03 　　 　　Of Chinese Information Processing 　　LI Ying 　　(College of Information Engineering, Xingjiang University, Wulumuqi 830046, China) 　　Abstract: Chinese information processing will be one has the broad prospects scientific research domain in the future. From Chinese information processings research content, the mainstream technology and so on several aspects discussed shallowly to the computer Chinese information processing understanding. 　　Key words: Chinese Information Processing；Corpus; Part-of-speech tagging 　　 　　中文信息处理是中文（包括汉语和少数民族语言）语言学和信息技术的融合。指用计算机对中文的音、形、义等信息进行加工和处理，它是一门与计算机科学、语言学、数学、信息学、声学等多种学科相关联的综合性学科。 　　语言信息处理是用计算机对自然语言在各个层次(语素、词、短语、句子、段落、篇章)上的各种表现形式(文本、声音、图像)的信息进行处理：输入、输出、转换、压缩、存储和检索等等。跟人工语言相比，自然语言词汇量大，规则复杂，处处充满歧义，但它是人类最重要的交际工具，也是人类思维、文化和一切知识的载体，因此语言信息处理具有特别重大的意义。[1] 　　中文信息处理是用计算机处理汉语信息，也叫汉语信息处理。 　　 　　1 中文信息处理的特点 　　 　　中文信息处理在许多方面有自己的特点。 　　1.1 汉字的特殊性 　　西方语言只有几十个字母。而汉字由于数量大且字形复杂，也给计算机处理带来了困难。汉字信息处理是中文信息处理的关键和基础，包括汉字信息的输入、汉字信息的加工和汉字信息的输出等方面，其难点是汉字编码问题。根据在汉字信息处理过程中的不同要求，汉字有多种编码，主要可以分为四类，即汉字输入编码，汉字标准编码，汉字内码和汉字形码。 　　1.2 书面汉语的特殊性 　　书面汉语中，词跟记号之间没有分隔标记，自动分词成为书面汉语分析的第一道难关。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段可以通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，但是在词这一层上，中文比之英文要复杂的多、困难的多。 　　1.3 汉语语音的特殊性 　　汉语语音的特点是音节结构简单，音节界限分明，但有声调和变调等问题，对于语音识别和语音合成来说，既有有利的一面，也有不利的一面。 　　1.4 汉语语法的特殊性 　　汉语形态贫乏，难以凭借形态来确定词的句法功能，词序和虚词是主要的语法手段，句法歧义特别复杂，使得汉语语句自动分析这一关键技术迟迟不能取得突破。 　　 　　2 中文信息处理的研究内容 　　 　　2.1 从用户角度看，中文信息处理不外乎三个方面 　　2.1.1 汉语信息的输入和输出 　　输入有三种形式：键盘输入、手写（或扫描）输入、语音输入，分别是汉字键盘输入法、汉字识别和汉语语音识别的研究内容。输出有两种形式：屏幕和打印机等设备上的汉字输出、语音输出，分别是汉字字形技术和汉语语音合成的研究内容。 　　2.1.2 汉语信息的检索和提取 　　给出主题词或关键字，得到相关文献或例句，这是信息检索。对文献内容加以分析概括并且以条理化的形式来表达，叫做信息提取，是中文信息处理研究的一个新热点。自动文摘和自动校对也可以看成是信息提取。 　　2.1.3 汉语信息的转换 　　如GB、B和Unicode等内码之间的转换，汉字简体和繁体之间的转换。汉语和其他语言之间的机器翻译，属于不同自然语言之间的转换，也是中文信息处理的重要研究内容。[2] 　　2.2 从研究