甘教版信息技术八下2-5《让机器能理解会思考》课件.pptxVIP

甘教版信息技术八年级下册2023版课件第五节让机器能理解会思考学习目标了解自然语言处理技术的基本概念理解自然语言处理技术的基本方法探讨自然语言处理技术的应用案例新知讲解什么是自然语言处理技术？这一技术跟前面所学的智能语音技术有什么关联？ 自然语言处理（Natural Language Processing，NLP）是指利用计算机对人类特有的书面形式和口头形式的自然语言进行各种处理和加工。语音识别技术可以将语音转换为文字，让机器“听见”我们说的话。新知讲解 本节学习的自然语言处理技术要解决语音识别中遇到的同音字词、词语歧义、方言、口音、噪声等问题，试图让机器“听懂”我们说话。在实际应用中，我们经常将智能语音技术和自然语言处理技术结合应用，实现人机对话、机器翻译等应用。认识自然语言处理新知讲解 语言是具有特定语法结构的指令，通过它能够实现人与人之间、机器与机器之间、甚至人与机器之间的信息传递。人类日常沟通的语言是自然演化而来的，通常称之为自然语言，普通话、方言皆是自然语言。认识自然语言处理新知讲解 要用自然语言与计算机交流，计算机既要理解自然语言的含义，也要用自然语言来表达意图和思想。前者称为自然语言理解技术，后者称为自然语言生成技术。认识自然语言处理新知讲解 机器翻译技术就是自然语言处理技术中的一种，它能让计算机把一种语言翻译为另外一种语言。在机器翻译过程中，计算机首先需要理解输入句子的含义，然后根据含义进行翻译，并根据翻译结果生成另外一种语言的句子。如果添加语音识别和语音合成功能，就可以实现口语翻译（口译）。认识自然语言处理新知讲解 如图2-5-1展示了口译过程。它首先利用语音识别技术将口语转换成句子，然后再利用机器翻译技术把句子翻译成其他语言的语句，最后再利用语音合成技术把翻译结果朗读出来。另外一种语言的文本文本语音合成语音识别机器翻译另外一种语言图2-5-1 口译过程语音认识自然语言处理新知讲解 请同学们上网查找一个机器翻译平台，将下表中的英文翻译为中文，中文翻译为英文。语句翻译结果他既不喜欢游泳，也不喜欢跑步。He likes neither swimming nor running.He likes neither swimming nor running.他既不喜欢游泳，也不喜欢跑步。表2-5-1 利用机器翻译平台翻译语句自然语言处理的基本方法新知讲解 我们以中文为例，讲述与自然语言理解相关的基本技术、过程和方法。在自然语言理解中，主要的任务包括自动分词、词性标注、句法分析、语义分析等任务。自动分词是指找出句子中的单词。词性标注是获得每个词的词性。句法分析的目的是分析句子的语法功能。语义分析的目的是理解句子中词的含义。自然语言处理的基本方法新知讲解1.自动分词 词是最小的能够独立运用的语言单位，自然语言处理是以词为单位进行书面语言的处理。中文句子由词组成，一个词既可以是一个汉字，也可以是多个汉字。让计算机判断出句子中的词的过程叫自动分词，它是自然语言处理的基础。自然语言处理的基本方法新知讲解 以“少先队员应邀到北京天安门广场看升旗”为例，分词的输入是一整个句子；分词的输出则是用分界符，比如“/”或者“│”分割的一串词：少先队员/应邀/到/北京/天安门广场/看/升旗。如何让计算机自动分词呢？最简单的办法就是“查字典”。自然语言处理的基本方法新知讲解 “查字典”的方法，就是把一个句子从左向右扫描一遍，遇到字典里有的词就标识出来，遇到复合词（比如“北京大学”）就找最长的词匹配，遇到不认识的字串就分割成单字词，这样就完成了简单的分词任务。自然语言处理的基本方法新知讲解 “查字典”的方法可以解决大部分简单的分词问题。但是，当遇到稍微复杂一点的问题就无能为力了。比如，对短语“发展中国家”，正确的分词是“发展/中/国家”，而采用从左向右“查字典”的办法就会错分成“发展/中国/家”。对此，研究人员运用基于统计的方法，成功地解决了类似“发展中国家”这样的自然语言中有歧义性的分词问题。自然语言处理的基本方法新知讲解 基于统计的分词方法是对中文文本进行信息标注（如当前字是词头、词中、词尾，或单字词），然后设定好分词的特征，最后对这些标注数据进行训练，得到分词模型。这种分词方法能够考虑到字词前后之间的联系，模型学习能力较强。自然语言处理的基本方法新知讲解2.词性标注与句法分析 在自动分词的基础上，我们可以对自然语言进行进一步的处理，利用词性标注来获得每个词的词性，在此基础上，利用句法分析获得句子的成分结构。自然语言处理的基本方法新知讲解 在这里，我们给出一个例子来帮助同学们理解词性标注和句法分析。 例句：小明喜欢数学。 这个句子可以分为主语、谓语、宾语和句号四部分。对每个部分进行分析，可以得到如图2-5-2所示的句子成分结构（或称为“语法树