机器学习及SparkMLlib简介-博客园.PDFVIP

机器学习及SparkMLlib 简介 第 1 页 共 21 页 出自石山园，博客地址：/shishanyuan 目 录 1 机器学习概念3 1.1 机器学习的定义3 1.2 机器学习的分类3 1.2.1 监督学习3 1.2.2 无监督学习4 1.2.3 半监督学习5 1.2.4 强化学习6 1.3 机器学习的常见算法6 1.3.1 回归算法 7 1.3.2 基于实例的算法8 1.3.3 正则化方法8 1.3.4 决策树学习9 1.3.5 贝叶斯学习9 1.3.6 基于核的算法9 1.3.7 聚类算法10 1.3.8 关联规则学习10 1.3.9 人工神经网络算法 11 1.3.10 深度学习算法 11 1.3.11 降低维度算法 11 1.3.12 集成算法12 2 SPARK MLLIB介绍12 3 SPARK MLLIB架构解析14 3.1 MLLIB 的底层基础解析14 3.2 MLLIB 的算法库分析17 3.2.1 分类算法17 3.2.2 回归算法18 3.2.3 聚类算法19 3.2.4 协同过滤20 3.3 MLLIB 的实用程序分析21 4 参考资料21 第 2 页 共 21 页 出自石山园，博客地址：/shishanyuan 机器学习及SparkMLlib 简介 1 机器学习概念 1.1 机器学习的定义 在维基百科上对机器学习提出以下几种定义：  “机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经 验学习中改善具体算法的性能”。  “机器学习是对能通过经验自动改进的计算机算法的研究”。  “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” 一种经常引用的 英文定义是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E。 可以看出机器学习强调三个关键词：算法、经验、性能，其处理过程如下图所示。 上图表明机器学习是数据通过算法构建出模型并对模型进行评估，评估的性能如果达到要求 就拿这个模型来测试其他的数据，如果达不到要求就要调整算法来重新建立模型，再次进行评估， 如此循环往复，最终获得满意的经验来处理其他的数据。 1.2 机器学习的分类 1.2.1监督学习 监督是从给定的训练数据集中学习一个函数（模型），当新的数据到来时，可以根据这个函数 （模型）预测结果。监督学习的训练集要求包括输入和输出，也可以说是特征和目标。训练集中 的目标是由人标注（标量）的。在监督式学习下，输入数据被称为“训练数据”，每组训练数据有 一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”、“非垃圾邮件”，对手写数字识别中 第 3 页 共 21 页 出自石山园，博客地址：/shishanyuan 的“1”、“2”、“3”等。在建立预测模型时，监督式学习建立一个学习过程，将预测结果与“训 练数据”的实际结果进行比较，不断调整预测模型，直到模型的预测结果达到一个预期的准确率。 常见的监督学习算法包括回归分析和统计分类：  二元分类是机器学习要解决的基本问题，将测试数据分成两个类，如垃圾邮件的判别、房 贷是否允许等问题的判断。  多元分类是二元分类的逻辑延伸。例如，在