大数据实例：网站用户行为分析.pdfVIP

山西大学研究生项目设计报告 （2015 2016 学年 第1 学期） 学院（中心、所）： 计算机与信息技术学院 专 业 名 称： 软件工程(专硕) 课 程 名 称： 大数据处理 论 文 题 目：网站用户行为分析 授课 教师（职称）： 杜亮 研 究 生 姓 名： 温杰 年 级： 2016 级 学 号： 201622405011 成 绩： 评 阅 日 期： 山西大学研究生学院 2016 年12 月20 日 1 大数据实例：网站用户行为分析 大数据实例：网站用户行为分析2 一、案例简介4 二、案例目的4 三、软件工具4 四、案例任务4 五、实验步骤5 5.1、实验步骤一：实验环境准备 5 5.1.1、linux 系统的安装 5 5.1.2、Hadoop 的安装 6 5.1.3、MySQL 的安装 6 5.1.4、HBase 的安装8 5.1.5、Hive 的安装 8 5.1.6、Sqoop 的安装 10 5.1.7、Eclipse 安装 12 5.2、实验步骤二：本地数据集上传到数据参考 Hive12 5.2.1、实验数据集的下载12 5.2.2、解压下载得到的数据集到指定目录 12 5.2.3、数据集的预处理 13 5.3、实验步骤三：Hive 数据分析 15 5.4、实验步骤四：Hive、MySQL、HBase 数据互导 19 5.4.1、Hive 预操作 19 2 5.4.2、使用 Sqoop 将数据从 Hive 导入 MySQL 20 5.4.3、使用 Sqoop 将数据从 MySQL 导入 HBase21 5.5、实验步骤五：利用 R 进行数据可视化分析22 5.5.1、R 安装 22 5.5.2、可视化分析 MySQL 中的数据 23 3 一、案例简介 本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典 型操作，涵盖 Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse 等系统和 软件的安装和使用方法。 二、案例目的 1、熟悉 Linux 系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse 等系 统和软件的安装和使用； 2、了解大数据处理的基本流程； 3、熟悉数据预处理方法； 4、熟悉在不同类型数据库之间进行数据相互导入导出； 5、熟悉使用 R 语言进行可视化分析； 6、熟悉使用 Elipse 编写 Java 程序操作 HBase 数据库。 三、软件工具 图 1、软件总体概览图 四、案例任务 1、安装 Linux 操作系统 2、安装关系型数据库 MySQL 3、安装大数据处理框架 Hadoop 4、安装列族数据库 HBase 4 5、安装数据仓库 Hiv