PySpark大数据技术与应用 课件 5.1 基于PySpark的机器学习库.pptx

MLlib算法库;;MLlib是Spark中提供的可扩展的机器学习库，由一系列的机器学习算法组成，并且对常用的机器学习算法进行了分布式实现。

算法库：分类、回归、聚类、协同过滤等

实用程序：数据预处理、特征提取、模型保存和加载等;;机器学习是对研究问题进行模型假设，利用计算机从训练数据中学习得到模型参数，并最终对数据进行预测和分析的一门学科。

有监督学习。有监督学习是使用有标签的训练数据计算概率分布或图模型的机器学习算法。常见的有监督学习算法包括回归和分类算法。

无监督学习。无监督学习是通过学习大量的无标签的数据，分析数据内在的特点和结构的机器学习算法。常见的无监督学习有聚类算法。

半监督学习。半监督学习是有监督学习与无监督学习相结合的一种学习方法。半监督学习需要采用合适的半监督假设将学习模型和无标签样本的数据分布联系起来??常见的半监督假设包括平滑假设（smoothnessassumption）、聚类假设（clusterassumption）和流型假设（manifoldassumption）。

;MLlib是Spark的机器学习算法库，利用Spark分布式处理实现在大规模数据集上的机器学习。MLlib由一些通用的学习算法（如分类、回归和聚类等）和工具（如转换器、管道、评估器等）组成。

Spark在1.3版本引入了高层次的DataFrame描述数据。针对这种改变，Spark将