大数据实训报告.docxVIP

课程实训报告 企 业： 项 目： 滴滴出行 2021年3月 计算机科学与技术学院 一、课程实训报告 历经了7天的实训，有以下感悟： 对大数据开发相关知识的学习与培训已经接近尾声了，通过这次实训，又一次刷新了我对编程的认知，原本生冷的代码现在再看来一个个如同跳跃的音符，如此美妙生动。在这次实训中，老师的课堂讲解与企业化标准的培训，使我加深了对自己专业以及大数据的理解，从而确定自己以后的努力方向。在短暂的实训时间尽可能多的学到东西，当然也就少不了我们跟老师和同学很好的沟通，加深彼此的了解。本以为短短七天自己不会有较大的提升，但老师是非常认真负责的老师，讲课思路清晰，善于引导我们更深层次的去探究，使我在这几天时间里获益匪浅！ 总结： 在这七天里我们前几天认识并了解了大数据 大数据概论和职业规划 Linux服务器系统 Hadoop概论 HDFS分布式文件系统 Hive数据仓库 SparSQL指令 Zeppelin框架 Sqoop框架 Superset数据可视化 大数据数仓实战-滴滴出行 学习内容： 1. 大数据基础知识的讲解（5天左右） 2. 实战内容 滴滴出行（2 天 ） 一．大数据概论和职业规划 1.数据： 世界的本质是数据——大数据研究专家维克托·迈尔-舍恩伯格博士 2.大数据定义： 大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，因此需要新处 理模式，该处理模式就是大数据 3.大数据的特点可以使用5个字来概括:大、多、值、快、信 4.大数据业务： 大数据的应用场景-大数据让借贷更放心 大数据的应用场景-大数据让广告营销更高效 大数据的应用场景-大数据让新媒体更懂你 大数据分析的业务步骤： 5.大数据职业规划岗位： 大数据开发工程师 Hadoop开发工程师 Spark开发工程师 实时计算开发工程师 数据仓库工程师 ETL开发工程师 BI开发工程师 数据挖掘工程师 数据架构师 6.大数据学习路线： 1：Linux系统 2：编程语言 3：大数据框架 4：项目-车联网（实时） 二．Linux服务器系统 1.计算机入门知识介绍： 计算机硬件主要由CPU、存储设备、输入输出设备组成。 如果没有硬件，是无法使用计算机办公、编程、游戏的。 计算机的软件，常常指的就是程序。 计算机软件包括系统软件和应用软件 程序员通常就是指的开发软件的人。 操作系统（Operating System，简称OS）是管理和控制计算机硬件与软件资源的计算机程序，是直接运行在“裸机”上的最基本的系统软件，任何其他软件都必须在操作系统的支持下才能运行。 2.Linux系统概述： Linux操作系统本身是一个整体，包括Linux内核、系统库和系统程序，Linux内核是其最基础的部分。 自发布Linux内核来，很多公司加入其中，在内核的基础上构建了自己的操作系统版本，被称为Linux的发行版。 3.Linux的特点：开源、免费、拥有最为庞大的源码贡献者 Linux系统的安装和体验： 要安装Linux系统，首先，我们需要找到一台计算机，才能安装。为了方便我们课堂上的操作，我们将使用「虚拟机」，在我们的笔记本电脑上模拟一台计算机。我们把Linux系统安装到这台计算机上。 虚拟机 (Virtual Machine) 指通过软件模拟的具有完整硬件系统功能的，运行在一个完全隔离环境中的完整计算机系统。 要安装Linux系统，首先，我们需要找到一台计算机，才能安装。为了方便我们课堂上的操作，我们将使用「虚拟机」，在我们的笔记本电脑上模拟一台计算机。我们把Linux系统安装到这台计算机上。 虚拟机 (Virtual Machine) 指通过软件模拟的具有完整硬件系统功能的，运行在一个完全隔离环境中的完整计算机系统 4.Linux的网络配置和连接工具： 虚拟机网络配置： Windows网络配置： CRT是一款强大的远程终端连接工具。可以用于远程连接Linux系统，5.通过远程方式执行命令完成任务。 Linux的目录结构： Linux的目录结构是一个树型结构 Windows 系统 可以拥有多个盘符, 如 C盘、D盘、E盘 Linux 没有盘符 这个概念, 只有一个根目录 /, 所有文件都在它下面 6.Linux的常用命令： command [-options] [parameter] 说明: - command : 命令名, 相应功能的英文单词或单词的缩写 - [-options] : 选项, 可用来对命令进行控制, 也可以省略 - parameter : 传给命令的参数, 可以是 零个、一个 或者 多个 ls 是英文单词