Python数据分析基础第9章机器学习库scikit-learn入门.pptxVIP

第9章 机器学习库scikit-learn入门学习目标： 了解机器学习的基本概念。 了解scikit-learn机器学习库基本概念。 掌握scikit-learn安装与使用。 掌握Seaborn绘图方法及使用。 掌握使用scikit-learn进行机器学习的方法。9.1 机器学习概述scikit-learn概述第一个机器学习程序使用 scikit-learn 进行机器学习项目实践本章小结 1. 机器学习的定义 机器学习是人工智能的一种类型，从广义上来说，机器学习是一种能够赋予机器学习的能力，这种学习能力是不需要通过编程来实现的。但从实践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型预测未知属性的一种方法。 通过银行根据客户的年龄、是否有工作、是否有住房和信贷情况等项来预测是否批准客户的贷款申请的机器学习模型，可见机器学习就是将历史的数据通过机器学习算法进行处理，这个处理过程在机器学习中叫做“训练”，处理的结果称之为“模型”，可用来对新的数据进行预测。机器学习流程如图9-2所示。9.1 机器学习概述 2、机器学习框架 根据机器学习的定义，总结机器学习框架如下。 （1）机器学习分为两个阶段，一个是“训练”阶段，另一个是“预测”阶段。 （2）机器学习的步骤如下。 ①先定义一些函数，这些函数是根据不同的参数建立起来的，不同参数的组合构建不同的函数（模型）。 ②定义一个度量标准，用于衡量函数（模型）的优劣。 ③根据度量标准，从所定义的一些函数（模型）中选择一个最佳的函数（模型）。 ④将“训练”好的函数（模型）应用到测试集的数据中，以完成数据的预测。9.1 机器学习概述 3. 机器学习的问题 机器学习的问题分为监督学习和非监督学习两大类。 （1）监督学习 监督学习的训练样本包含对应的“标签”，如识别问题。训练集需要包括输入和输出，也就是特征和目标，其中目标是由人工标注的“标签”。常见的监督式学习算法包括回归分析和统计分类。 监督学习的算法有线性回归、逻辑回归、神经网络和SVM（支持向量机）。 （2）非监督学习 非监督学习的训练样本不包含对应的“标签”，常见的非监督式学习算法有聚类算法。9.1 机器学习概述 4、机器学习的应用 机器学习已经有了十分广泛的应用，例如：数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人运用等。 机器学习还与人工智能和深度学习有密切的关系，人工智能是机器学习的父类。深度学习则是机器学习的子类。9.2.1 scikit-learn介绍机器学习概述第一个机器学习程序使用 scikit-learn 进行机器学习项目实践本章小结 scikit-learn(简记sklearn)，是面向Python的免费机器学习库。sklearn不仅包含有分类、回归、聚类算法，如SVM、随机森林、k-means等，而且还包含有降维、模型选择和数据预处理等机器学习算法。sklearn支持NumPy和SciPy数据结构，以及Matplotlib库。 1、sklearn中的数据表示 在sklearn中的数据表示的最佳方式就是数据表，其中行表示数据集的各个元素，也称为样本，列表示这些元素（样本）的特定定量信息。9.2.1 scikit-learn介绍 2、特征矩阵 在sklearn中，数据表的信息是二维数组或矩阵，也称之为特征矩阵。特征矩阵中样本（即行）是指数据集描述的各个对象。特征（即列）是指以定量方式描述每个样本的不同观察结果。特征通常是实值，但在某些情况下可能是布尔值或离散值。 按照惯例，特征矩阵通常被存储在一个名为X的变量中。特征矩阵假设为二维的，形状为[n_samples，n_features]，并且常使用NumPy数组或pandas DataFrame来存放，尽管有些 scikit-learn 模型也接受 SciPy 稀疏矩阵。9.2.1 scikit-learn介绍 3、目标数组 在scikit-learn模型中，除了特征矩阵X之外，通常还使用标签或目标数组，按照惯例，我们通常称为y。目标数组通常是一维，长度为n_samples，通常包含在 NumPy 数组或 pandas Series中。 目标数组可以是连续的数值或用数字表示的离散分类与标签。 目标数组与其他特征列的不同之处是，目标数组的特征通常是从数据中预测的数量，在统计学上，它属于因变量。在使用scikit-learn模型时，经常要从DataFrame提取特征矩阵和目标数组。9.2.1 scikit-learn介绍4、scikit-learn的估计器API通常，使用scikit-learn估计器 API 的步骤如下。（1）通过从scikit-lea