SparkMLlib实战.PDFVIP

SparkMLlib 实战 第 1 页 共 22 页 出自石山园，博客地址：/shishanyuan 目 录 1 MLLIB实例3 1.1 聚类实例3 1.1.1 算法说明3 1.1.2 实例介绍3 1.1.3 测试数据说明4 1.1.4 程序代码4 1.1.5 IDEA执行情况6 1.2 回归算法实例8 1.2.1 算法说明8 1.2.2 实例介绍8 1.2.3 程序代码9 1.2.4 执行情况10 1.3 协同过滤实例 11 1.3.1 算法说明 11 1.3.2 实例介绍13 1.3.3 测试数据说明13 1.3.4 程序代码15 1.3.5 IDEA执行情况20 2 参考资料22 第 2 页 共 22 页 出自石山园，博客地址：/shishanyuan SparkMLlib 实战 1 MLlib 实例 1.1 聚类实例 1.1.1算法说明 聚类（Cluster analysis ）有时也被翻译为簇类，其核心任务是：将一组目标object 划分为 若干个簇，每个簇之间的object 尽可能相似，簇与簇之间的object 尽可能相异。聚类算法是机 器学习（或者说是数据挖掘更合适）中重要的一部分，除了最为简单的 K-Means 聚类算法外， 比较常见的还有层次法（CURE、CHAMELEON 等）、网格算法（STING、WaveCluster 等），等 等。 较权威的聚类问题定义：所谓聚类问题，就是给定一个元素集合 D ，其中每个元素具有n 个 可观察属性，使用某种算法将D 划分成k 个子集，要求每个子集内部的元素之间相异度尽可能低， 而不同子集的元素相异度尽可能高。其中每个子集叫做一个簇。 K-means 聚类属于无监督学习，以往的回归、朴素贝叶斯、SVM 等都是有类别标签y 的， 也就是说样例中已经给出了样例的分类。而聚类的样本中却没有给定y ，只有特征x ，比如假设宇 宙中的星星可以表示成三维空间中的点集 。聚类的目的是找到每个样本x 潜在的类别 y ，并 将同类别y 的样本x 放在一起。比如上面的星星，聚类后结果是一个个星团，星团里面的点相互 距离比较近，星团间的星星距离就比较远了。 与分类不同，分类是示例式学习，要求分类前明确各个类别，并断言每个元素映射到一个类 别。而聚类是观察式学习，在聚类前可以不知道类别甚至不给定类别数量，是无监督学习的一种。 目前聚类广泛应用于统计学、生物学、数据库技术和市场营销等领域，相应的算法也非常多。 1.1.2实例介绍 在该实例中将介绍 K-Means 算法，K-Means 属于基于平方误差的迭代重分配聚类算法，其 核心思想十分简单：  随机选择K 个中心点； 计算所有点到这K 个中心点的距离，选择距离最近的中心点为其所在的簇； 简单地采用算术平均数（mean ）来重新计算K 个簇的中心； 第 3 页 共 22 页 出自石山园，博客地址：/shishanyuan 重复步骤2 和3 ，直至簇类不再发生变化或者达到最大迭代值； 输出结果。 K-Means 算法的结果好坏依赖于对初始聚类中心的选择，容易陷入局部最优解，对 K 值的选 择没有准则可依循，对异常数据较为敏感，只能处理数值属性的数据，聚类结构可能不平衡。 本实例中进行如下步骤： 1. 装载数据 ，数据以文本文件方式进行存放； 2. 将数据集聚类，设置2 个类和20 次迭代，进行模型训练形成数据模型 ； 3. 打印数据模型的中心点 ； 4. 使用误差平方之和来评估数据模型 ； 5. 使用模型测试单点数据 ； 6. 交叉评估1 ，返回结果 ；交叉评估2 ，返回数据集和结果。 1.1.3测试数据说明