Python自然语言处理 课件 电子10-1 -词嵌入算法.pptx

深度学习与自然语言处理Python自然语言处理第十章 CONTENT目录 01词嵌入算法03循环神经网络02训练词向量实践04Seq2Seq模型实战 课前回顾常见机器学习方法无监督学习的文本分类文本分类实战文本聚类实战 深度学习概述深度学习（Deep Learning）方法 基于人工神经网络（Artificial Neural Network） 自动学习合适的特征与多层次的表达与输出 应用于信息抽取、词性标注、搜索引擎和推荐系统等方面 使用词向量来表示各个级别的元素 本章概述 深度学习算法：词嵌入 循环神经网络模型 Seq2Seq实例 词嵌入算法0 1词向量Word2vec简介词向量模型CBOW和Skip-gram模型 词嵌入算法 词嵌入算法：一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数据模型 依靠系统复杂程度和调节内部大量节点之间相互连接的关系，从而达到处理信息的目的 其核心为上下文表达和上下文与目标词汇之间的映射关系 词向量 词向量(Word Embedding) 离散表示（One-Hot）：把每个词表示为一个长向量。这个向量的维度是词表大小，向量中只有一个维度的值为1，其余维度为0例：苹果 [0，0，0，1，0，0，0，0，0，……] 缺点：无法捕获词与词之间的相似性 词向量 分布式表示： 将每个词映射到K维实数向量，并根据词之间的距离，作为判断它们之间的语义