机器学习核心概念与算法.docxVIP

机器学习核心概念与算法

机器学习是人工智能的一个子领域，致力于研究如何使计算机系统从经验（数据）中学习，改进性能，而无需进行显式编程。

一、基础概念

定义：计算机系统通过数据驱动的自动学习来完成特定任务。

主要范式：

监督学习：已知输入和输出，学习Mapping函数，用于预测未知数据。

无监督学习：仅已知输入，探索数据内在结构。

强化学习：学习通过与环境交互做出一系列决策以获得最大累积奖励。

关键要素：

模型：从数据中学习的参数化结构。

特征：描述数据点属性。

损失/代价函数：衡量模型预测值与实际值的差异。

优化：寻找使损失函数最小的模型参数（如梯度下降）。

评估指标：

分类：准确率、精确率、召回率、F1-score，AUC-ROC曲线。

回归：均方误差(MSE)、均方根误差(RMSE)、平均绝对误差(MAE)。

二、监督学习

核心目标：基于已标记训练数据集学习映射关系，预测未知新数据的标签。

2.主要算法分类

(1)回归算法

线性回归

原理：假设特征通过线性组合预测目标变量。y=wx+b

目标：最小化平方误差损失。

岭回归Lasso

原理：在线性模型基础上加入L2或L1正则化项，以防止过拟合。

L2(岭):(y-Xw-b)^T(y-Xw-b)+λ||w||2^2

L1(Lasso):(y-Xw-b)^T(y-Xw-b)