机器学习常用算法合集梳理.docxVIP

机器学习常用算法合集梳理

机器学习常用算法合集梳理

一、监督学习类算法

监督学习是机器学习中最基础且应用最广泛的范式，其核心特征是训练数据包含“输入特征”与“对应标签”，模型通过学习二者映射关系，实现对新样本的预测。根据输出变量类型，可分为分类与回归两大方向。

（一）线性模型

线性回归是最经典的回归算法，假设目标变量与特征之间存在线性关系：

$$y=\mathbf{w}^\top\mathbf{x}+b$$

其中$\mathbf{w}$为权重向量，$b$为偏置项。其优势在于可解释性强、训练速度快、易于实现正则化；缺点是对非线性关系拟合能力弱。实际应用中常配合L1（Lasso）或L2（Ridge）正则项缓解过拟合，弹性网络（ElasticNet）则综合二者优势，适用于高维稀疏特征场景。

逻辑回归虽名含“回归”，实为二分类算法，通过Sigmoid函数将线性输出压缩至(0,1)区间，输出可解释为概率：

$$P(y=1|\mathbf{x})=\frac{1}{1+e^{-(\mathbf{w}^\top\mathbf{x}+b)}}$$

多分类可通过“一对多”（OvR）或“一对一”（OvO）策略扩展。逻辑回归在金融风控、用户点击率预估等任务中仍具不可替代性，因其概率输出稳定、特征权重直观、抗噪声能力较强。

（二）树模型家族

决策树以树状结构进行分层判断，每个内部节点代表一个特征分裂条件，