11深度学习-第十一章 自然语言处理.pptx

第十一章自然语言处理

第一节NLP概述

11.1NLP概述自然语言处理（NaturalLanguageProcessing，NLP）让机器能够学习和了解人类语言的基本知识，在人类和机器之间构筑起一道语言交流的桥梁“自然语言”指的是人类在日常交流中使用的语言，如英语、中文、西班牙语等自然语言包含词汇、语法、语义和语用等方面的要素，是人与人之间进行沟通和交流的主要工具NLP的目标之一是使计算机能够理解、解释和生成自然语言的文本数据，以便能够处理和分析这些文本数据，实现如文本分类、语义理解、机器翻译等任务

11.1NLP概述NLP应用领域搜索引擎机器翻译聊天机器人和虚拟助手拼写和语法校正生物医疗文本挖掘

11.1NLP概述NLP相关产品GoogleTranslate（谷歌翻译）AmazonAlexa（亚马逊语音助手）Grammarly（语法助手）

11.2NLP问题简介对于任意种类的自然语言，使用者需要理解该语言的含义，进而才能生成并使用该语言来与其他使用者交流沟通NLP问题主要分为自然语言理解和自然语言生成两类基本问题

11.2NLP问题简介自然语言理解

11.2NLP问题简介自然语言理解Tokenization/Segmentation分词：将给定的一个字符序列切成碎片的任务中文词汇分割：将一个句子分割成一个词汇序列英文词汇分割：句子由词汇和空格组成，相对简单Part-of-SpeechTagging词向标准：为句子中的每个单词分配词性标记，如名词、动词、形容词SyntacticParsing句法解析：为句子分配句法结构，例如主谓结构、动宾结构等WordSenseDisambiguation词义消歧：确定一个词在特定上下文中的使用词义的任务SemanticRoleLabeling语义角色标记：将角色分配给句子中的词或短语，例如施事者、受事者、时间、地点、工具等……

11.2NLP问题简介自然语言生成Context-FreeGramma利用词典和规则形成句子结构词典，包括单词句法符号（如名词、名词短语）规则，即表达语言的每个单词和符号可以进行的组合和排序基于模板的生成基于已经固定的生成规则来调用已有信息并生成新的语句基于统计（N-Gram）或神经语言模型的生成使用广泛的语言生成模型本质是基于神经网络模型或者概率模型，基于已经出现的句子成分和顺序关系，来预测词表中的词汇在接下来的位置的出现概率

《深度学习》第十一章自然语言处理

第二节词嵌入李欢南开大学人工智能学院

11.3词嵌入词嵌入（WordEmbedding）作为深度学习的基础组件之一，为许多NLP任务提供有效的语义表示将词表中的词元嵌入到向量空间将计算机无法理解的自然语言转化为其可以理解的数值语言

11.3.1预训练预训练可以得到词元的向量表示，这些向量可以应用到处理各种NLP任务的深度学习模型上面临大型语料库时，使用完全标注的数据来训练模型几乎是不可能的现代NLP通过在无标签的大规模文本语料库上进行预训练，自监督地从海量文本数据中学习，不需要昂贵的标签标注、预训练之后的模型再使用少量标注语料进行微调（Fine-tuning）来完成各种NLP任务经典预训练任务

11.3.2跳字模型跳字模型考虑使用文本序列中的一个词元生成周围的词元假设词元集中有个词元，对第个词元，有表示其作为中心词的词向量和表示其作为上下文词的词向量在长度为的文本序列中，对第个词元，跳字模型在该词元上下文窗口中生成第个词元的条件概率为假设上下文词是独立生成的，取长度为的上下文窗口，跳字模型在给定中心词的前提下生成窗口内所有上下文词的概率，即似然函数为最大化对数似然函数，训练可获得作为中心词的词向量和作为上下文词的词向量。其中，作为中心词的词向量通常作为词嵌入的结果，应用于下游的深度学习框架

11.3.3连续词袋模型连续词袋模型与跳字模型恰好相反，它考虑中心词是基于其在文本序列中的周围上下文词生成的在长度为的上文窗口中给定上下文词，生成任意中心词的条件概率为对于长度为的文本序列，可以求得连续词袋模型的似然函数为给定上下文词生成所有中心词的概率：最大化对数似然函数，训练可得作为词嵌入的结果其中

11.3.4负采样跳字模型和连续词袋模型在计算对数似然函数的梯度时需要遍历整个词表，算力成本十分庞大负采样方法的提出是为了降低训练的复杂度以跳字模型为例，修改其似然函数为