从神经网络到深度学习 - 哈尔滨工业大学社会计算与信息检.PDF

从神经网络到深度学习 唐都钰 dytang@ 2013.04.10 1 大纲 • 背景介绍 • 神经元 神经网络 • 神经网络 • 权重学习 • 深度学习概述 • 语言模型 深度学习 • DBN RNN 2 什么是机器学习 • Arthur Samuel (1959) – Field of study that gives computers the ability to learn without being explicitly programmed • Tom Mitchell (1998) – A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E 3 什么是机器学习（续） • 一封邮件是不是spam ？ • 如何在杂乱的环境中识别三维物体？ • 如何判断一比信用卡交易是否正当？ • 我们希望从数据中学习 – 以有指导学习为例 • 输入：实例+正确的输出 • 输出：模型 4 机器学习 • Supervised learning – 给定输入，预测输出 – 分类、回归 • Unsupervised learning – 挖掘输入数据的好的内在表示(representation) • Reinforcement learning 5 有指导学习 • 首先初始化模型 y = f (x ;W) – 借助数值化的参数W ，把每个输入向量x ，映射 为预测的输出y • 参数学习 – 调整参数W • 减小在训练数据上标准输出结果与预测结果之间的 不一致程度 – 回归 1 2 (y - t) – 分类 2 6 增强学习 • 输出是一个动作(action)或一系列动作，唯 一的有指导信息就是报酬(reward) – 目标：选择未来回报最大的动作 • 很困难