自然语言理解 (2).pptVIP

8.6.2汉语自动分词方法（1）最大匹配法：在计算机中存放一个分词用词典，从待切分的文本中按自左到右的顺序截取一个定长的汉字串，与词典中的词进行匹配，若匹配不成功，则把该字符串从右边逐次减去一个汉字，再与词典中的词进行匹配，直到成功为止。（2）逆向最大匹配法：从待切分文本中截取字符串的方向是从右到左。匹配不成功时，将所截取的汉字串从左至右逐次减去一个汉字，再与词典中的词进行匹配，直到匹配成功为止。（3）逐词遍历匹配法：逐词遍历匹配法中存放的词按由长到短的顺序，逐个与待切分的语料文本进行匹配，直到把文本中的所有词都切分出来为止。*第29页，共53页，星期日，2025年，2月5日8.6.2汉语自动分词方法汉语自动分词难点：（1）词的概念（2）岐义问题（3）未登录词的识别各类名字、缩略语、派生词、专业术语*第30页，共53页，星期日，2025年，2月5日8.6.3汉语词性的标注方法难点：兼类词的词类歧义排除意义（1）对文本进行文法分析或句法分析等更高层次的文本加工提供基础。（2）通过对标注过的语料进行统计分析等处理。具有两个或两个以上词性的词*第31页，共53页，星期日，2025年，2月5日8.6.4汉语词义的标注方法难点：多义词的歧义排除意义（1）对文本中的每个词根据其所属上下文给出它的语义编码。（2）语音合成、情报检索、机器翻译、自动校对等。*第32页，共53页，星期日，2025年，2月5日第8章自然语言理解及其应用8.1自然语言理解的概念与发展历史8.2语音分析8.3词法分析8.4句法分析8.5语义分析8.6基于语料库的大规模真实文本的处理8.7机器翻译8.8语音识别*第33页，共53页，星期日，2025年，2月5日8.7机器翻译8.7.1机器翻译方法概述8.7.2范例式机器翻译系统8.7.3翻译记忆*第34页，共53页，星期日，2025年，2月5日8.7.1机器翻译方法概述发展历程：直接型间接型中间语言型转换型*第35页，共53页，星期日，2025年，2月5日1.直译式翻译系统(directtranslationMTsystems)通过快速的分析和双语词典，将原文译出。2.规则式翻译系统(rule-basedMTsystems)先分析原文内容，产生原文的句法结构，再转换成译文的句法结构，最后再生成译文。8.7.1机器翻译方法概述*第36页，共53页，星期日，2025年，2月5日3.中介语式翻译系统(inter-lingualMTsystems)先生成一种中介的表达方式，而非特定语言的结构；再由中介的表达式，转换成译文。基于规则的翻译中介语式的翻译8.7.1机器翻译方法概述*第37页，共53页，星期日，2025年，2月5日4.知识库式翻译系统(knowledge-basedMTsystems)翻译经常需要除了词汇之外的各种知识，使用知识获取工具(knowledgeacquisition)，以充实知识库的内容。6.范例式翻译系统(example-basedMTsystems)将过去的翻译结果，当成范例，产生一个范例库。5.统计式翻译系统(Statistics-basedMTsystems)源语言中任一句子都可能是目标语言中某些句子相似。7.混合式翻译系统(Statistics-basedMTsystems)同时采用多种策略，以达成翻译的目标。8.7.1机器翻译方法概述*第38页，共53页，星期日，2025年，2月5日ArtificialIntelligencePrinciplesandApplications自然语言理解第1页，共53页，星期日，2025年，2月5日第8章自然语言理解及其应用8.1自然语言理解的概念与发展历史8.2语音分析8.3词法分析8.4句法分析8.5语义分析8.6基于语料库的大规模真实文本的处理8.7机器翻译8.8语音识别*第2页，共53页，星期日，2025年，2月5日第8章自然语言理解及其应用8.1自然语言理解的概念与发展历史8.2语音分析8.3词法分析8.4句法分析8.5语义分析8.6基于语料库的大规模真实文本的处理8.7机器翻