《Python自然语言处理》第10章-深度学习与自然语言处理.pptVIP

简单RNN 简单RNN 按时间顺序计算前向传播（Forward Propagation） 将反向传播算法用于残差传输，在普通BP网络上添加了时间序列，称为BPTT（Back Propagation Through Time）算法 简单RNN RNN变体长期短期记忆网络（Long Short Term Memory Networks，简称LSTM） 目标预测的点与其相关信息点之间的间隔较小，则RNN可以学习使用过去的信息 例：预测“中国的首都是”的下一个词，直接使用“北京”，无需其他信息 简单RNN 在大多数情况下，更多的上下文信息更有助于进行推断 例：预测“我出生在中国，成长在中国，因而我的母语是汉语”的最后一句，需要更多更早之前的上下文 简单RNN 要预测的点与其相关点之间的间隔可能会变得非常大，间隔越大，RNN越难学习到过往久远的信息 循环神经网络 0 3 LSTM网络 长短期记忆网络LSTM是一种特殊RNN，可以学习长期依赖关系 链式重复模块神经网络结构： LSTM网络 LSTM链重复模块结构： LSTM网络 LSTM组成部件： 单元状态 LSTM网络 门结构： σ层输出[0,1]，表示每个成分通过的程度 0表示不让任何东西过，1表示让所有东西通过 LSTM网络 LSTM网络 LSTM网络 LSTM网络 最终输出 LSTM网络 窥孔连接（Peephole Connection） LSTM网络 配对的遗忘门和输入门 LSTM网络 Gated Recurrent Unit（GRU） LSTM网络 GRU特点：模型简化、参数较少、拟合能力较弱 LSTM：具有较多参数和很强的拟合能力，适用于大规模和高度复杂的数据集 LSTM的各种变形基本相同，不同的任务不同的变型有不同的表现 循环神经网络 0 3 Attention机制 Attention机制的基本思想： 打破传统编码器一解码器结构，在编码时依赖于内部固定长度向量的限制。 Attention机制 Attention机制实现： ① 保留LSTM编码器输入序列的中间输出结果； ② 训练模型选择性地学习这些输入，并在模型输出时将输出序列与其关联。 Attention机制 Attention应用： 文本翻译 图像描述 语义蕴含 语音识别 文本摘要 词向量模型 词向量模型 词向量模型 词向量模型 词向量模型 词嵌入算法 0 1 CBOW和Skip-gram模型 CBOW（Continuous Bag-Of-Words Model）和Skip-gram模型： CBOW和Skip-gram模型 CBOW计算流程： （1）随机生成所有单词的词向量矩阵，每一行对应一个单词的向量； （2）从矩阵中提取某一个单词（中心词）的周边单词词向量； （3）求周边单词词向量的均值向量； （4）在该均值向量上用logistic regression 训练，激活函数用softmax； （5）期望回归得到的概率向量能与真实的概率向量相匹配。 CBOW和Skip-gram模型 Skip-Gram： 根据当前词来预测周围的词 课程小结 谢谢观看 深度学习与自然语言处理 Python自然语言处理 第十章 课前回顾 词向量 word2vec 词向量模型 CBOW和Skip-gram模型 训练词向量实践 0 2 训练词向量实践 下载word2vec： ①Google（/dav/word2vec） ②C++11（/jdeng/word2vec） ③Java（/NLPchina/Word2VEC_java） ④Python（/pypi/gensim） 训练词向量实践 基本系统配置： ①Windows Original：cygwin ②C++11：VS2013 Linux/Mac OS ③任意版本word2vec 中文语料库： 维基百科中文语料（地址：/zhwiki/latest/zhwiki-latests-articles.xml.bz2） 搜狗SouGouT 训练词向量实践 1、安装Python3.6， 安装库： gensim、jieba、hanziconv 2、下载数据 下载Word2vec.git 下载中文维基百科数据 下载jieba字典 训练词向量实践 3、载入相关库 # 把一些警告的讯息暂时关掉 import warnings warnings.filterwarnings(ignore) # Utilities相关库 import os import numpy as np import mmap from tqdm import