大数据导论-资源 Spark平台架构与搭建 4-13-5linux中安装spark.docxVIP

Linux系统中伪分分布式安装配置spark 学习目标 在linux系统下伪分分布式安装配置spark环境?（并配置好?standalone??HadoopYARN??Mesos?等）。 任务描述 在大数据应用中，我们使用的一般都是Hadoop自带的运算框架MapReduce进行数据操作，但是MapReduce适用于批量式运算框架，迭代运算效率低，当我们需要进行实时计算时我们需要使用spark大数据分析引擎。Spark多种运行模式本项目安装standalone??HadoopYARN??Mesos三种运行模式。 相关知识点与技能点 linux操作系统 Linux是一套免费使用和自由传播的 类Unix 操作系统，是一个基于 POSIX和Unix的多用户、 多任务、支持 多线程和多 CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持 32位和 64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统 基本思想 Linux的基本思想有两点：第一，一切都是文件；第二，每个软件都有确定的用途。其中第一条详细来讲就是系统中的所有都归结为一个文件，包括 命令、 硬件和 软件设备、 操作系统、 进程等等对于操作系统 内核而言，都被视为拥有各自特性或类型的文件。至于说Linux是基于Unix的，很大程度上也是因为这两者的基本思想十分相近。 完全免费 Linux是一款免费的操作系统，用户可以通过网络或其他途径免费获得，并可以任意修改其 源代码。这是其他的操作系统所做不到的。正是由于这一点，来自全世界的无数 程序员参与了Linux的修改、编写工作，程序员可以根据自己的兴趣和灵感对其进行改变，这让Linux吸收了无数程序员的精华，不断壮大。 完全兼容POSIX1.0标准 这使得可以在Linux下通过相应的 模拟器运行常见的 DOS、 Windows的程序。这为用户从Windows转到Linux奠定了基础。许多用户在考虑使用Linux时，就想到以前在Windows下常见的程序是否能正常运行，这一点就消除了他们的疑虑。 多用户、多任务 Linux支持多用户，各个用户对于自己的文件设备有自己特殊的权利，保证了各用户之间互不影响。 多任务则是现在电脑最主要的一个特点，Linux可以使多个程序同时并独立地运行。 良好的界面 Linux同时具有字符界面和 图形界面。在字符界面用户可以通过键盘输入相应的指令来进行操作。它同时也提供了类似Windows图形界面的X-Window系统，用户可以使用鼠标对其进行操作。在X-Window环境中就和在Windows中相似，可以说是一个Linux版的Windows。 支持多种平台 Linux可以运行在多种硬件平台上，如具有 x86、680x0、SPARC、Alpha等处理器的平台。此外Linux还是一种嵌入式操作系统，可以运行在掌上电脑、机顶盒或游戏机上。2001年1月份发布的Linux 2.4版内核已经能够完全支持 Intel64位芯片架构。同时Linux也支持多处理器技术。多个处理器同时工作，使系统性能大大提高。 优点 Linux继承了Unix的特性，具有非常强大的网络功能，其支持所有的因特网协议，包括TCP/ IPv4、? TCP/IPv6和链路层拓扑程序等，且可以利用Unix的网络特性开发出新的协议栈； Linux系统工具链完整，简单操作就可以配置出合适的开发环境，可以简化开发过程，减少开发中仿真工具的障碍，使系统具有较强的移植性； Linux由众多微内核组成，其源代码完全开源； Spark Spark 是一种快速、通用、可扩展的大数据分析引擎，2009 年诞生于加州大学伯克利分校AMPLab，2010 年开源，2013 年 6 月成为 Apache 孵化项目，2014 年 2 月成为 Apache顶级项目。目前，Spark 生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib 等子项目，Spark 是基于内存计算的大数据并行计算框架。Spark 基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将 Spark 部署在大量廉价硬件之上，形成集群。 快 与 Hadoop 的 MapReduce 相比，Spark 基于内存的运算要快 100 倍以上，基于硬盘的运算也要快 10 倍以上。Spark 实现了高效的 DAG 执行引擎，可以通过基于内存来高效处理数据流。 易用 Spark 支持 Java、Python 和 Scala 和 R 的 AP