从神经网络到深度学习-AI视野.ppt

网络结构：A deep and big LSTM network Google神经网络翻译 基于注意力的神经机器翻译 降低了ML应用的门槛 降低了ML应用的门槛 从神经网络到深度学习——大数据催生的新智慧物种 自然语言处理 怎样用神经网络处理离散（符号）数据？ 嵌入（Embedding） * 怎样学习词嵌入？ Neural Language Model word2vec * word2vec词嵌入的性质 向量空间中的距离 = 词义相似性 * word2vec词嵌入的性质 捕获语言的某些规律 * 嵌入空间可视化 * 从单词到句子 CNN * 序列学习问题 序列识别和生成 语音、时间序列、文本... 注意控制 按顺序决定下一时刻注意什么 运动控制、玩游戏 。。。 共同模式 历史状态（可变长度）- 内部状态表示（短时记忆） - 下一步动作 传统序列学习模型 “无记忆” Autoregressive models Feed-forward NN “简单记忆” Linear dynamical systems (LDS) Hidden Markov Models (HMM) FNN - RNN Forward propagation RNN for 语言模型/序列生成 常用的训练目标：预测下一时刻的输入 训练RNN：Backpropagation through time (BPTT) 优化目标 最大对数似然（在整个序列上累加） A toy problem for RNN：二进制加法 问题 train a neural net to do binary addition by giving it many 01 string as examples 方案1：FNN 需要预先确定最大位数 对不同的位使用不同的权重 泛化能力差 二进制加法的算法 方案2：RNN 网络结构 2 ins, 3 hiddens, 1 out h(t) = f(Wihx(t) + Whhh(t-1))(前一时刻的隐状态，当前时刻的输入) - 下一时刻的隐状态 2个时间步的延迟 输入-隐单元 隐单元-输出 网络学到了什么？ 自动学习出3个隐单元的4种不同的激活模式，用以完成加法运算 模拟有限状态自动机，但能力更强 N个隐单元，2N种激活模式，N2个参数(权重) 对比HMM RNN训练的难题：梯度爆炸与消失 if for all m: gradient explode if for all m: gradient vanish 在包含长时关联(dt 10)的序列上很难有效训练RNN Long Short-Term Memory (LSTM) Two types of memory in RNN Short-term memory: encoded in activity patterns of hidden units Long-term memory: encoded in weights 不同类型的记忆 LSTM cell Input gate: scales input to cell (write) Output gate: scales output from cell (read) Forget gate: scales old cell value (reset) Cell Cell output LSTM怎样保持梯度信息(works like a mini-computer with read/write units) LSTM学到了什么？例子：字符级语言模型 RNN vs LSTM：一个核心区别 隐状态更新方式：替换 -- 累加 更加稳健的动力学特性，减轻梯度爆炸和消失 端到端的机器翻译 将源句子的编码为向量表示，然后将向量解码为目标 句子 网络学到了什么？ 源语言和目标语言的词法、语法、短语搭配、语义。。。 基于短语的统计机器翻译 降低了ML应用的门槛 降低了ML应用的门槛