Scikit-learn 使用手册中文版.pdf

Table of Contents 绪言 1.1 有监督学习 1.2 广义线性模型 1.2.1 线性与二次判别分析 1.2.2 核岭回归 1.2.3 支持向量机 1.2.4 随机梯度下降 1.2.5 1 绪言 This book is translated from official user guide of scikit-learn. 2 有监督学习 3 广义线性模型 1.1. 广义线性模型 英文原文 以下介绍的方法均是用于求解回归问题 ，其 目标值预计是输入变量的一个线性组合 。写成数 学语言为 ：假设 是预测值 ，则有 在本节中 ，称向量 为 coef_ ，{% math %}w0{% endmath %}为 `intercept` 若要将通用的线性模型用于分类问题 ，可参见Logistic回归 1.1.1 普通最小二乘法 LinearRegression 使用系数 拟合一个线性模型 。拟合的目标是要将线性 逼近预测值 （ ）和数据集中观察到的值 （ ）两者之差的平方和尽量降到最小 。写成数学 公式 ，即是要解决以下形式的问题 4 广义线性模型 LinearRegression 的 fit 方法接受数组X和y作为输入 ，将线性模型的系数 存在成员变 量 coef_ 中 ： from sklearn import linear_model clf linear_model.LinearRegression() clf.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2]) LinearRegression(copy_X True, fit_intercept True, n_jobs 1, normalize False) clf.coef_ array([ 0.5, 0.5]) 需要注意的是 ，普通最小二乘法的系数预测取决于模型中各个项的独立性 。假设各个项相 关 ，矩阵 的列总体呈现出线性相关 ，那么 就会很接近奇异矩阵 ，其结果就是经过最小二 乘得到的预测值会对原始数据中的随机误差高度敏感 ，从而每次预测都会产生比较大的方 差 。这种状况称为重共线性 。例如 ，在数据未经实验设计就进行收集时就会发生重共线性 。 线性回归的例子 普通最小二乘法的复杂度 此方法使用 的奇异值分解来求解最小二乘 。如果 是 矩阵 ，则算法的复杂度为 ，假设 。