机器学习基础.pptxVIP

汇报人：AA

2024-01-26

机器学习基础

目录

机器学习概述

监督学习

非监督学习

神经网络与深度学习

特征工程与数据预处理

模型评估与优化方法

总结与展望

01

机器学习概述

机器学习是一种通过训练数据自动发现规律，并应用于新数据的算法和模型。

定义

机器学习经历了从符号学习到统计学习再到深度学习的演变，不断推动着人工智能领域的发展。

发展历程

计算机视觉

自然语言处理

语音识别

推荐系统

01

02

03

04

通过图像识别、目标检测等技术，实现图像和视频的自动分析和理解。

运用文本挖掘、情感分析等技术，处理和理解人类自然语言。

将语音信号转换为文本或命令，实现人机交互和语音助手等功能。

根据用户历史行为和兴趣，为用户推荐相关产品或内容。

监督学习

无监督学习

半监督学习

强化学习

通过已知输入和输出数据进行训练，预测新数据的输出。

利用部分有标签数据和大量无标签数据进行训练，提高学习性能。

从无标签数据中学习数据的内在结构和特征。

智能体通过与环境交互，学习达到目标的最佳策略。

02

监督学习

线性回归

一种通过最小化预测值与实际值之间的均方误差来拟合数据的统计方法。它假设因变量和自变量之间存在线性关系。

逻辑回归

一种用于解决二分类问题的统计方法。它使用逻辑函数将线性回归的输出映射到[0,1]区间，表示某个样本属于正类的概率。

损失函数与优化

在线性回归和逻辑回归中，通常使用均方误差或交叉熵作为损失函数，并使用梯度下降等优化算法来最小化损失函数。

SVM是一种分类器，其基本思想是在特征空间中寻找一个超平面，使得该超平面能够最大化地将不同类别的样本分开。

原理

为了解决非线性问题，SVM引入了核函数的概念，将样本映射到一个更高维的特征空间，然后在这个空间中寻找超平面。

核函数

为了处理一些无法被超平面完全分开的样本，SVM引入了软间隔的概念，并通过正则化来平衡模型的复杂度和经验风险。

软间隔与正则化

一种基于树形结构的分类或回归方法。它通过递归地将数据集划分为若干个子集，每个子集对应一个决策树的节点，最终形成一个树状结构。

决策树

一种基于决策树的集成学习方法。它通过构建多个决策树并结合它们的输出来提高模型的泛化能力。

随机森林

在构建决策树时，通常需要进行特征选择以选择最优的划分属性。同时，为了避免过拟合，还需要进行剪枝操作。

特征选择与剪枝

评估指标

在监督学习中，常用的评估指标包括准确率、精确率、召回率、F1分数等。这些指标可以帮助我们评估模型的性能并选择最优的模型。

模型选择

在选择模型时，除了考虑模型的性能外，还需要考虑模型的复杂度、训练时间、可解释性等因素。同时，还可以使用交叉验证等方法来评估模型的泛化能力。

03

非监督学习

03

DBSCAN聚类

基于密度的聚类方法，能够发现任意形状的簇，并且能够识别噪声点。

01

K-means聚类

通过迭代将数据划分为K个簇，使得每个簇内的数据点尽可能相似，而不同簇之间的数据点尽可能不同。

02

层次聚类

通过构建嵌套的簇层次结构来进行聚类，可以根据需要选择不同的层次进行划分。

1

2

3

通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于高维数据的降维。

PCA原理

对数据进行标准化处理，计算协方差矩阵，求解协方差矩阵的特征值和特征向量，选择主要的主成分进行降维。

PCA步骤

可用于数据可视化、噪声过滤、特征提取等方面。

PCA应用

04

神经网络与深度学习

前馈神经网络是一种最简单的神经网络，信息单向传递，从输入层经过隐藏层到达输出层，不存在反向传播。

定义

通常由输入层、一个或多个隐藏层、输出层组成，每层的神经元与下一层的神经元全连接，同一层内的神经元无连接。

结构

适用于分类、回归等任务，如手写数字识别、图像分类等。

应用

定义

01

卷积神经网络是一种专门用于处理具有类似网格结构数据的神经网络，如图像、语音信号等。

结构

02

主要由卷积层、池化层、全连接层组成，通过卷积操作提取输入数据的局部特征，通过池化操作降低数据维度，最后通过全连接层进行分类或回归。

应用

03

广泛应用于图像识别、语音识别、自然语言处理等领域。

定义

循环神经网络是一种具有短期记忆能力的神经网络，能够处理序列数据，如文本、语音、视频等。

结构

RNN的基本结构包括输入层、隐藏层和输出层，隐藏层的输出不仅与当前时刻的输入有关，还与上一时刻隐藏层的输出有关。

应用

适用于序列建模任务，如机器翻译、语音识别、文本生成等。

用于优化神经网络参数，常见的优化算法有梯度下降法、随机梯度下降法、Adam等。

训练技巧

包括正则化、批归一化、学习率衰减等，用于提高神经网络的泛化能力和训练速度。

调参技巧

通过调整超参数如学习率、批大小、迭代次数等来优化模型性能。同时，使用