大数据开源框架.pdf

目 录 前言 在Ubuntu上部署Hadoop单节点 Kafka基础概念 Kafka实战 Kafka实战二 Kafka系统工具 Zookeeper集群的部署 Storm异常之RuntimeException Found multiple defaults.yaml resources 分布式基础之二阶段提交 Storm新特性之Flux 本文档使用 看云 构建 - 2 - 前言 前言 原文出处 ：大数据开源框架 作者 ：u013291394 本系列文章经作者授权在看云整理发布 ，未经作者允许 ，请勿转载 ！ 大数据开源框架 介绍大数据常用的开源框架 ，zookeeper、kafka、storm、hadoop ，后续会添加spark 相关知识。 本文档使用 看云 构建 - 3 - 在Ubuntu上部署Hadoop单节点 在Ubuntu上部署Hadoop单节点 在Ubuntu上部署Hadoop单节点 安装Java环境 Hadoop框架是依赖Java环境的 ，直接用最简单的方式,直接安装OpenJDK。 # 更新一下源列表 fish@hadoop:~$ sudo apt-get update # 安装OpenJDK fish@hadoop:~$ sudo apt-get install default-jdk # 测试Java环境 fish@hadoop:~$ java -version java version "1.7.0_65" OpenJDK Runtime Environment (IcedTea 2.5.3) (7u71-2.5.3-0ubuntu0.14.04.1) OpenJDK 64-Bit Server VM (build 24.65-b04, mixed mode) 安装SSH Hadoop要依赖于SSH来管理节点 ，下面安装SSH。 # 安装SSH fish@hadoop:~$ sudo apt-get install ssh # 测试SSH fish@hadoop:~$ which ssh /usr/bin/ssh fish@hadoop:~$ which sshd /usr/sbin/sshd 添加Hadoop用户 为Hadoop添加专门的用户。 # 添加用户 fish@hadoop:~$ sudo addgroup hadoop Adding group `hadoop' (GID 1002) ... Done. fish@hadoop:~$ sudo adduser --ingroup hadoop hduser Adding user `hduser' ... Adding new user `hduser' (1001) with group `hadoop' ... Creating home directory `/home/hduser' ... Copying files from `/etc/skel' ... Enter new UNIX password: 本文档使用 看云 构建 - 4 - 在Ubuntu上部署Hadoop单节点 Retype new UNIX password: passwd: password updated successfully Changing the user information for hduser Enter the new value, or press ENTER for the default Full Name []: Room Number []: Work Phone []: Home Phone []: Other []: Is the informat