2014年云计算开发平台安装配置手册(Linux单机伪集群分册).docVIP

产品ID 密级 FocusHadoop 中 产品版本 页数 1.0.0 15 云计算开发平台安装配置手册Linux单机伪集群分册 二零一一年 九月目 录 1. 综述 4 1.1. 依据 4 1.2. 目的 4 1.3. 范围 4 1.4. 术语 4 2. 安装环境 5 3. 安装准备 6 4. 安装JDK 7 5. 安装hadoop 7 6. 安装hbase服务 13 7. 安装xdat服务 18 7.1. 修改xdata的配置文件 18 8. 安装solr服务 27 9. 安装LZO压缩模块 28 9.1. 标准安装 28 9.2. 测试LZO压缩解压 31 9.3. 如果安装后的lib包有问题不能用执行以下步骤补救 32 修订记录 日期 修订版本 描述 编撰人 2011-09-20 0.0.1 Linux单机伪集群分册 刘学 2011-10-13 0.0.2 增加安装hbase内容 邹跃 2011-10-18 0.0.3 调整文档部分结构。xdata-xdata概念转变 刘学 2011-10-19 0.0.4 增加LZO压缩模块安装 刘学 2011-10-20 0.0.5 修改xdata安装文档目录结构 刘学 2011-12-09 0.0.6 修改其中错误的地方 罗亮 2011-12-09 0.0.7 增加solr单机模式安装 邹跃 2011-12-29 0.1.0 重构文档 罗亮 2012-1-4 0.1.1 增加第24步创建符号链接 康华星 综述 依据 本文档依赖于Apache组织hadoop开源项目的相关资料与文档以及各种网络收集的经过整理的资料。 目的 本文档将指导IT工程人员在单台Linux服务器上安装配置单节点的伪集群服务。 范围 本文档将指导如何获取安装文件构建安装目录、安装JDK、安装hadoop服务、配置云计算实验平台服务平台、HDFS测试、MapReduce测试等。 术语 Hadoop Cygwin Eclipes Xdata 定义在云计算技术基础上的数据应用解决方案产品，适应各种未知数据模型，具备很好的数据应用模式的延展性。 LZO LZO是一个美妙与Hadoop的使用的压缩方案，因为它的速度非常快，支持splittable(可分块)。 Gzip很快，但不能利用Hadoop的自然地图的优势分裂，因为这是不可能的，开始一个随机文件中的偏移量开始解压缩GZIP流的。LZO的块格式能够在解压缩文件的某些特定的偏移执行解压——在新的LZO块边界开始。LZO除了支持解压，这个类（pression.lzo.LzoIndexer）提供了一个进程中的索引器以及Map-Reduce风格索引器，它将读取一组LZO文件，将输出的LZO块边界偏移量与Hadoop文件块边界自然融合。这使得大量的LZO文件分割成多个映射器和并行处理。压缩，因为它是从磁盘读取的数据较少，最大限度地减少所需的IOPS数。和lzo减压是如此之快，CPU保持领先磁盘中读取的，所以不必解压缩，因为它的读取磁盘数据，也没有性能的影响。 Gzip 某种压缩格式，速度快，但是不支持压缩分块。  安装环境 硬件环境 CPU：无特殊要求 内存：无特殊要求 硬盘：无特殊要求 软件环境 操作系统：Linux 浏览器：目前只支持IE6.0和IE7.0安装准备 思路：1.准备-2.权限-3.基本包-4.软件包-5.网络登录-6.配置环境 获取安装包安装文件 安装包目录如下，如果缺省的安装包下面缺少对应的内容需要通过他人沟通获取： 上级目录是/xdata/ 目录结构 说明 ../ ./ /bin ../ hadoop /config /lib /log /setup ../ hadoop-rc1.tar ema_mysql.sql jdk-6u10-linux-i586.bin jdk-6u10-linux-x64.bin mysql-5.0.67-linux-i686.tar.gz /mysql ../ /bin ../ mysqlaccess mysqld_safe my.conf /hadoop ../ conf /tomcat ../ /conf /webapps ../ ema hadoop 可执行文件执行目录 启动脚本（里面RUN_USER配置hadoop） 配置目录（缺省配置在里面） 软件包