机器学习常用算法合集详解.docxVIP

机器学习常用算法合集详解

机器学习常用算法合集详解

一、监督学习类算法

1．线性回归（LinearRegression）

线性回归是回归任务中最基础、最直观的算法，其核心思想是用一条直线（或超平面）拟合输入特征与连续型目标变量之间的线性关系。模型形式为：

$$y=\mathbf{w}^\top\mathbf{x}+b$$

其中，$\mathbf{w}$为权重向量，$b$为偏置项，$\mathbf{x}$为输入特征向量。训练目标是最小化均方误差（MSE）：

$$\min_{\mathbf{w},b}\\frac{1}{n}\sum_{i=1}^{n}(y_i-(\mathbf{w}^\top\mathbf{x}_i+b))^2$$

?适用场景：房价预测、销量预估、温度趋势分析等连续值输出任务。

??注意事项：对异常值敏感；要求特征与目标间近似线性；需进行特征缩放（如标准化）以提升收敛稳定性。

??小贴士：实际应用中常扩展为多项式回归（添加$x^2$、$x_1x_2$等交互项）来拟合非线性趋势，但需警惕过拟合，建议配合L2正则（岭回归）使用。

2．逻辑回归（LogisticRegression）

尽管名称含“回归”，逻辑回归实为二分类经典算法。它通过Sigmoid函数将线性组合映射为概率值：

$$P(y=1|\mathbf{x})=\sigma(\mathbf{w}^\top\math