应用语言学8讲课.ppt

第八章 计算语言学 （一）计算语言学的研究对象：研究自然语言的计算机处理，即研究如何让计算机自动理解自然语言、生成自然语言。 电子计算机问世不久，人们便考虑到它的非数值运算问题，例如，文字的输入输出、大容量存储、言语识别和文字识别等。计算机情报检索在60年代末期便已实现；作为人工智能一个重要分支的自然语言理解也已奠定了基础，与此相联系的，言语识别和言语合成等项语言工程也在蓬勃开展。 要让计算机理解人的语言，首先，要细致分析把握语言的各种规则知识；其次，自然语言的特性和每一条规则要以形式化的方式表示出来；还需要研究自然语言规则之间的关系及其处理策略；最后，选择计算机程序设计语言，设计和编写处理自然语言的软件程序。 也就是说，自然语言处理需要四个方面：知识挖掘、形式表示、算法设计、软件编制。计算语言学最大的特点就是要求语言的形式化，因为只有形式化，才能算法化、自动化。 （二）计算语言学的学科性质：交叉性学科。既需要语言学知识，还需要数学、计算机科学、信息论、控制论、人工智能等知识。 （三）计算语言学的学科分支： 1.计算语音学：要让计算机识别与合成人的语音信息，需要深入分析人类语音的声学特征和变化规律。 2.计算词汇学：要处理汉语的分词问题，要给计算机设计数量庞大的词表，用于词语自动切分的参照。 山区地面积雪很厚； 就是； 不在； 知不知道 ； 3.计算语法学：分析一个词与其前后相邻的词能否直接组成一个句法结构，怎样组合，组合的层次顺序。 如：武汉市长江大桥欢迎您； 学生会组织娱乐活动 4.计算语义学：让计算机分析不同层级的语言形式如何与意义产生联系，从而理解自然语言。 词具有多义性，针对句中的每个词，系统要判定它表示哪个义项；多义的结构，要判断到底表达何义。 5.语料库语言学 （四）计算语言学主要研究内容： 1.机器翻译 利用计算机将一种语言自动地翻译成另外一种语言。 2.自然语言理解和人机对话 使得计算机理解和运用人类的自然语言，让计算机懂得自然语言的含义，用自然语言进行回答，也叫人机对话。 3.情报自动检索 从众多的文献资料中找出符合特定需要的文献或情报的过程。 4.语音自动识别、语音自动生成 对人发出的语音作出分析、辨认和判断，根据人的声音特征来产生人类的语音，这是语音自动合成。 5.自动文摘，自动校对 将原文本的主题思想和重要内容自动概要地表述出来。 6.计算机辅助教学 第二节 中文信息处理 中文信息处理的内容：“字”处理； “词”处理； “句”处理 （一）“字”处理 汉字输入：键盘输入、语音输入和光学字符识别输入 键盘输入：有的根据汉字的字型来编码，如王永民的五笔输入法；有的完全根据汉字的字音来编码，如智能ABC、微软拼音输入法。 拼音输入有一定的使用局限性。 值得探讨“词组输入”和“句输入”的方法。 语音输入：计算机利用接收到的声波分析语音的声学特征进而识别话语中的每个汉字。先通过预先的语音分析，建立起该用户的个人语音模型，然后才能达到较高的语音识别率。 光学字符识别输入，先扫描文件，形成图像，然后对汉字的图像进行模式匹配，再在字库里找出相应的汉字。 （二）“词”处理 要理解句子，必须让计算机能够自动确定词的边界，自动识别词，理解词义。 1.分词： 要准确分词 “从小学电脑” “这种天真好啊” 2.词性标注： 要确定好具体词性 ，例如： （1） 给我把好门。 给我把门带上。 给我把小李叫来。 给我一把门钥匙。 （2）门上没有锁，去买一把。 门还没有锁，可以进去。 （3） like red apple. （三）“句”处理 要自动分析、理解和生成句子，要进行汉语语义的自动分析和加工。 例如： “找到了罪犯的狗” 一些困难： 句法结构关系不同会造成不同意义。 例如： “进口彩电” 句子的理解还涉及词语之间的语义关系、词语之间的组合意义，还涉及话题、焦点等语用因素对句子意义理解的影响等。 “这些坑都挖深了” ；“ 我是苏州上的车” ；“反对的是老王” 计算机需要需要具备大量的语言知识、百科知识 （1） “周末有时间出去玩吗？” “我脚崴了。” （2） “从今天起，我决定戒烟了。” “怪不