深度学习与神经网络 课件 第一章 绪论.pptx

第一章 绪论关于本课程本课程体系的主要框架1关于本课程人工智能的一个重要分支领域人工智能（Artificial Intelligence，AI）是指使计算机能够具有人的智能行为。人工智能是关于知识的科学，研究知识的表示、获取和应用。深度学习：一类机器学习问题，主要解决贡献度分配问题。神经网络：一种以（人工）神经元为基本单元的模型。本书基本的知识框架体系知识准备知识准备线性代数微积分数学优化概率论信息论数学基础知识详见附件A课外知识推荐课程斯坦福大学CS224d: Deep Learning for Natural Language Processing/Richard Socher 主要讲解自然语言处理领域的各种深度学习模型。斯坦福大学CS231n: Convolutional Neural Networks for Visual Recognition//Fei-Fei Li Andrej Karpathy 主要讲解CNN、RNN在图像领域的应用加州大学伯克利分校 CS 294: Deep Reinforcement Learning/deeprlcourse//deeprlcourse/第一节与深度学习有关的几个概念1.1人工智能人工智能的定义Turing定义。1950年，英国数学家阿兰·图灵（Alan Turing）在论文Can machines think中提出，交谈能检验智能，如果一台计算机能像人一样交谈，那么它就能像人一样思考。Feigenbanm定义。对于Feigenbanm定义，即只告诉机器做什么，而不告诉它怎么做，机器就能完成工作，便可说机器有了智能。所谓智能，就是指理解和思考的能力。智能机器是指能够在各种环境中执行各种拟人任务的机器。概括地讲，人工智能是研究理解和模拟人类智能、智能行为及其规律的科学，主要任务是建立智能信息处理理论、认知理论、行为控制理论等，进而设计出可以模仿人类智能行为的计算系统。图灵测试人工智能的定义一个人在不接触对方的情况下，通过一种特殊的方式，和对方进行一系列的问答。如果在相当长时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这个计算机是智能的”。Alan Turing---Alan Turing [1950]《Computing Machinery and Intelligence》人工智能学派人工智能学派符号主义，又称为逻辑主义、心理学派、计算机学派。它基于物理符号系统（符号操作系统）假设和有限合理性原理，以基本的逻辑运算和推理为依据，通过符号系统分析人类的智能行为。这个学派的代表人物有纽厄尔（Newell）、西蒙（Simon）和尼尔逊（Nilsson）等。连接主义，又称为仿生学派或生理学派，是认知科学研究领域的理论和方法。它认为人工智能源于仿生学，特别是对人脑模型的研究。认知科学认为人类的认知过程是一种信息处理过程，大脑的工作过程就是由大量的简单神经元构成的复杂神经网络的信息处理过程。行为主义，又称进化主义或控制论学派，其原理为控制论及感知-动作型控制系统，认为人工智能源于控制论。维纳（Wiener）和麦克洛克（McCulloch）等人提出的控制论与自组织系统，以及钱学森等人提出的工程控制论和生物控制论影响了许多领域。机器学习（Machine Learing）机器学习的解释 通过经验提高系统自身性能的过程（系统自我改进）。 机器学习是数据分析核心研究领域之一。一个没有学习功能的系统是不能被称为智能系统。机器学习正逐渐从传统的AI中独立出来，成为一种新的问题求解工具。机器学习的定义W是这个给定世界的有限或无限所有对象的集合，由于观察能力的限制，我们智能获得这个世界的一个有限的子集Q∈W，称为样本集。机器学习就是根据这个有限样本集Q，推算这个世界的模型，使得其对这个世界为真。训练与泛化泛化ModelW建模Q机器学习机器学习的数学描述G为产生器，产生随机向量，从固定但未知的概率分布函数中独立抽取。S为训练器，对于每一个输入向量返回一个输出值，根据固定但未知的条件概率分布函数产生。LM为函数学习机，能够实现一定的函数集，函数学习的过程即特征处理的过程，包括特征提取和特征转换，其中是参数集合。有3类基本的机器学习问题，即模式识别、函数逼近和概率密度估计。表示学习表示学习表示学习是机器学习的核心问题。特征工程：需要借助人类智能好的表示如何自动从数据中学习好的表示“好的表示”是一个非常主观的概念，没有一个明确的标准。好的表示具有以下几个优点：要具有很强的表示能力。使后续的学习任务变得简单。具有一般性，是任务或领域独立的。语义表示计算机的语义表示局部表示One-Hot向量分布式表示压缩、低微、稠密向量知识库规则嵌入：压缩、低维、稠密向量One-Hot向量局部表示一个颜色的表示例