机器学习课程复习知识点总结.pdf

  机器学习课程复习知识点总结 注意 根据课堂笔记整理，如有遗漏或补充请联系@CCP101 ，卷积神经网络应该会出一道简答题，根据汇报整 理了一些问题。 本笔记部分内容来自于维基百科与CSDN等。关于深度学习部分，如未接触过该领域，推荐阅读鱼书与 蜥蜴书（14章）相关章节。 注意： 本笔记内含 公式，如使用Typora请打开公式支持。 1.序论 1. 机器学习定义： 机器学习是人工智能的一个分支。人工智能的研究历史有着一条从以“推理”为重点，到以“知识”为重点， 再到以“学习”为重点的自然、清晰的脉络。显然，机器学习是实现人工智能的一个途径，即以机器学习 为手段解决人工智能中的问题。机器学习在近30多年已发展为一门多领域交叉学科，涉及概率论、统计 学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以 自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测 的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统 计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。很多推论问题属于 无程序可循难度，所以部分的机器学习研究是开发容易处理的近似算法。 机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、 检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人等领域。 机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改 善具体算法的性能。 机器学习是对能通过经验自动改进的计算机算法的研究。 机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。 2. 深度学习定义： 深度学习（英语：deep learning）是机器学习的分支，是一种以人工神经网络为架构，对资料进行表征 学习的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值（例如一幅图像）可以使用多种方 式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些 特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非 监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。 表征学习的目标是寻求更好的表示方法并创建更好的模型来从大规模未标记数据中学习这些表示方法。 表示方法来自神经科学，并松散地创建在类似神经系统中的信息处理和对通信模式的理解上，如神经编 码，试图定义拉动神经元的反应之间的关系以及大脑中的神经元的电活动之间的关系。 至今已有数种深度学习框架，如深度神经网络、卷积神经网络和深度置信网络和循环神经网络已被应用 在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。 3. 二分法： 最简单的分类问题，例如在一个二维空间内根据属性使用线性或非线性方法进行区分。实际上是使用单 个点与决策边界做对比后得出分类结果。 4. 激活函数： 在计算网络中， 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机 芯片电路可以看作是根据输入得到开（1）或关（0）输出的数字电路激活函数。这与神经网络中的线性 感知机的行为类似。然而，只有非线性激活函数才允许这种网络仅使用少量节点来计算非平凡问题。主 要的激活函数例如sigmoid函数与Relu函数。 5. softmax函数： 又名归一化指数函数，Softmax函数实际上是有限项离散概率分布的梯度对数归一化。因此，Softmax 函数在包括多项逻辑回归，多项线性判别分析，朴素贝叶斯分类器和人工神经网络等的多种基于概率的 多分类问题方法中都有着广泛应用。 6. 深度学习基本常识 训练时各数据集的作用 ：首先拆分为（训练集(trai