苏州科技大学-机器学习复习JU-JI自整.docxVIP

PAGE 2 考试题型 选择题 20题 共40分 名词解释题 10题 共10分 简答题 3题 共30分 计算题 1题 共20分(4小问) 考试知识点整理 人工智能 Artificial Intelligence，简记为AI，是当前科学技术迅速发展及新思想、新理论、新技术不断涌现的形势下产生的一个学科，也是一门涉及数学、计算机科学、哲学、认知心理学和心理学、信息论、控制论等学科的交叉和边缘学科。 智能的定义 智能是知识和智力的总和，知识是一切智能行为的基础，智力是获取知识并运用知识求解问题的能力。 智能特征 感知能力 记忆和思维能力 学习和自适应能力 行为能力 机器学习 机器学习(Machine Learning，ML)是机器获取知识的根本途径，也是机器具有智能的重要标志，是人工智能研究的核心问题之一。机器学习是使计算机无需明确编程就能学习的研究领域。 人工智能的主要学派 符号主义 连接主义 行为主义 人工智能的主要研究内容 知识表示：实际上是对知识的一种描述，或者是一组约定，是机器可以接受的用于描述知识的数据结构。 推理：指按照某种策略，从已知事实出发，利用知识推出所需结论的过程。 搜索与规划：搜索是指为了达到某个目标，不断寻找推理路线，以引导和控制推理，使问题得以解决的过程。规划是一种重要的问题求解技术，是从某个特定问题状态出发，寻找并建立一个操作序列，直到求得目标状态为止的一个行动过程的描述。 机器学习：是机器获取知识的根本途径，也是机器具有智能的重要标志，是人工智能研究的核心问题之一。 机器学习分类 监督式学习 无监督学习 强化学习 监督学习与非监督学习区别 原理不同：监督学习是指利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程。无监督学习指根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题的过程。 算法不同：监督学习的算法是通过分析已知类别的训练数据产生的。无监督学习的算法主要有主成分分析方法、等距映射方法、局部线性嵌入方法、拉普拉斯特征映射方法、黑塞局部线性嵌入方法和局部切空间排列方法等。 适用条件不同：监督学习适用于样本数据已知的情况。非监督学习适用于无类别信息的情况。 监督学习与强化学习区别 监督学习有两个主要任务，即回归和分类，而强化学习则具有不同的任务，例如开发或探索，马尔可夫的决策过程，政策学习，深度学习和价值学习。 在监督学习中，存在各种数量的算法，它们的优缺点适合于系统要求。在强化学习中，马尔可夫的决策过程为建模和决策情况提供了数学框架。 监督学习意味着名称本身就表示它是高度监督的，而强化学习则受到较少的监督，并且依赖学习代理来通过确定不同的可能方式来确定输出解决方案，以实现最佳解决方案。 过拟合与欠拟合 过拟合：当学习器把训练样本学得太好了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降。 欠拟合：指对训练样本的一般性质尚未学好。 模型评估的关键在于如何获得测试集，且测试集应该与训练集互斥。 常见的模型评估方法 留出法 保持数据分布一致性(举例：分层采样) 多次重复划分(举例：100次随机划分) 测试集不能太大也不能太小(举例：1/5~1/3) 交叉验证法 自助法 调参与最终模型 算法参数由人工设定，模型参数由学习确定 调参过程相似：先产生若干模型，然后基于某种评估方法进行选择 算法参数选定后，要用“训练集+验证集”重新训练最终模型  性能度量是衡量模型泛化能力的评价标准，反映了任务需求，使用不同的性能度量往往会导致不同的评判结果，回归任务最常用的性能度量是均方误差。 常用的性能度量 错误率与精度 查准率、查全率与F1 ROC与AUC 代价敏感错误率与代价曲线 比较检验(在某种度量下取得评估结果后，是否可以直接比较以评判优劣？) 在某种度量下取得评估结果后，不可以直接比较以评判优劣，因为测试性能不等于泛化性能，测试性能会随着测试集的变化而变化，并且很多机器学习算法本身有一定的随机性。 比较检验的常用方法 假设检验 交叉验证t检验 McNemar检验 Friedman检验与Nemenyi后续检验 偏差-方差分解 泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度共同决定，偏差-方差分解是解释学习算法泛化性能的一种重要工具。 偏差-方差窘境 训练不足时，学习器拟合能力不强，偏差主导 随着训练程度加深，学习器拟合能力逐渐增强，方差逐渐主导 训练充足后，学习器的拟合能力很强，方差主导 参数与超参数 参数：从模型中学习得到的变量。 超参数：在开始学习过程之前设置其值的参数，而不是通过训练获得的参数数据。 参数与超参数区别 获取信息的方式不同 通过模型训练获得参数。 超参数是手动设置的。 不同的影