大数据基础高职全套教学课件.pptx

大数据基础 项目1 大数据概述 项目2 Linux操作系统的安装及常用命令 项目3 Hadoop集群部署 项目4 HDFS基础操作 项目5 HBase数据库的安装与应用 项目6 MapReduce应用开发 项目7 Hive数据仓库 项目8 Flume和Sqoop的安装与使用 项目9 数据可视化技术 大数据概述 项目1 (1)了解大数据的基本概念 (2)掌握大数据的基本特征 (3)掌握大数据处理的基本流程 (4)了解大数据和云计算及物联网的关系 (5)掌握 Hadoop生态系统各组件的基本功能 (6)了解 Hadoop在各行业的应用 (1)能够描述大数据的基本特征 (2)会复述大数据处理的基本流程 (3)会复述 Hadoop生态系统各组件的基本功能 (4)能够描述 Hadoop在各行业的应用 大数据已成为社会各界研究及关注的焦点,本任务主要学习大数据的基本概念,其中 包括大数据的基本特征、大数据的影响、大数据处理的基本流程以及大数据与云计算、物 联网的关系。 大数据(BigData),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理 的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产,如购物网站的消费记录,这些数据只有进行处理整合 才有意义。 大数据具有如下特征: 云计算、大数据和物联网三者已经彼此渗透、相互融合,在很多应用场合都可以同时 看到三者的身影,在未来,三者会继续相互促进、相互影响,更好地服务于社会生产和生活 的各个领域。 下面总结一下三者的区别与联系: (1)大数据、云计算和物联网的区别 (2)大数据、云计算和物联网的联系 Hadoop是一个开发和运行处理大规模数据的软件平台,是 Apache的一个用Java语言实现的开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。下面详细介绍一下 Hadoop生态系统。 Hadoop是一个能够对大量数据进行分布式处理的软件框架,具有可靠、高效、可伸缩的特点。Hadoop的核心是 HDFS和 MapReduce,Hadoop2.0还包括 YARN。图1-3所示为 Hadoop生态系统。 1.在线旅游 2.移动数据 3.电子商 4.能源发 5.能源节省 6.基础设施管理 7.图像处理 8.欺诈检测 9.IT安全 10.医疗保健 感谢观看 大数据基础 Linux操作系统的安装及常用命令 项目2 (1)掌握 VirtualBox的安装和 Ubuntu系统的安装方法 (2)掌握 FTP软件 FileZilla的安装方法 (3)掌握 Windows和 Linux操作系统之间文件的传输方法 (4)掌握 Linux系统常用命令的使用方法 (5)掌握vim 编辑器的使用方法 (1)能够安装 Linux虚拟机 (2)能够安装 FTP软件 (3)会使用 FTP软件在 Windows和 Linux系统之间传输文件 (4)会使用 Linux系统常用命令 (5)会使用vim 编辑器 Ubuntu是目前流行的Linux操作系统,是大数据平台必备的系统。本任务主要完成 Ubuntu64位系统的安装和网络配置,并使用FTP软件FileZilla向Ubuntu传输文件。 开机时按F2、F12、Del、Esc等键就可以进入 BIOS,这就需要根据计算机的品牌和采用 的BIOS才能确定到底是哪一个按键,当不知道你的 BIOS或者主板的型号的时候,可以上 百度 查 找。 进 入 BIOS 后,找 到 Configuration 选 项 或 者 Security 选 项,然 后 选 择 Virtualization,如图2-1所示,或者IntelVirtualTechnology,就可以开始操作了。 (1)设置网络连接方式 (1)设置网络连接方式 (1)设置网络连接方式 (1)设置网络连接方式 (1)设置网络连接方式 1.Ubuntu中 Eclipse安装与配置 安装 Eclipse有三种方式: 第一种是通过 Ubuntu自带的程序安装功能安装 Eclipse,应用程序→Ubuntu软件中心,搜索 Eclipse安装即可。 第二种方法是用命令:应用程序→附件→终端,然后输入相应命令行。 第三种是进入官网下载。 本教材采用第二种方式进行安装,按键盘上的“Ctrl+Alt+T”打开终端,输入: Sudo apt -get install eclipse sudoapt-getinstalleclipse-pde sudoapt-getinstalleclipse-jdt 2.Ubuntu安装 MySQL 在 Ubuntu上安装 MySQL非常简单,只需要几条命令就可以完成。 (1)sudoapt-