云计算开发平台安装配置手册.docVIP

产品ID 密级 FocusHadoop 中 产品版本 页数 1.0.0 15 云计算开发平台安装配置手册Linux单机伪集群分册 二零一一年 九月 云计算开发平台安装配置手册 Linux单机伪集群分册 目 录 TOC \o 1-2 \h \z \u HYPERLINK \l _Toc 1. 综述 PAGEREF _Toc \h 4 HYPERLINK \l _Toc 1.1. 依据 PAGEREF _Toc \h 4 HYPERLINK \l _Toc 1.2. 目的 PAGEREF _Toc \h 4 HYPERLINK \l _Toc 1.3. 范围 PAGEREF _Toc \h 4 HYPERLINK \l _Toc 1.4. 术语 PAGEREF _Toc \h 4 HYPERLINK \l _Toc 2. 安装环境 PAGEREF _Toc \h 5 HYPERLINK \l _Toc 3. 安装准备 PAGEREF _Toc \h 6 HYPERLINK \l _Toc 4. 安装JDK PAGEREF _Toc \h 7 HYPERLINK \l _Toc 5. 安装hadoop PAGEREF _Toc \h 7 HYPERLINK \l _Toc 6. 安装hbase服务 PAGEREF _Toc \h 13 HYPERLINK \l _Toc 7. 安装xdat服务 PAGEREF _Toc \h 18 HYPERLINK \l _Toc 7.1. 修改xdata的配置文件 PAGEREF _Toc \h 18 HYPERLINK \l _Toc 8. 安装solr服务 PAGEREF _Toc \h 27 HYPERLINK \l _Toc 9. 安装LZO压缩模块 PAGEREF _Toc \h 28 HYPERLINK \l _Toc 9.1. 标准安装 PAGEREF _Toc \h 28 HYPERLINK \l _Toc 9.2. 测试LZO压缩解压 PAGEREF _Toc \h 31 HYPERLINK \l _Toc 9.3. 如果安装后的lib包有问题不能用执行以下步骤补救 PAGEREF _Toc \h 32 修订记录 日期 修订版本 描述 编撰人 20 0.0.1 Linux单机伪集群分册 刘学 2011-10-13 0.0.2 增加安装hbase内容 邹跃 2011-10-18 0.0.3 调整文档部分结构。xdata-xdata概念转变 刘学 2011-10-1 0.0.4 增加LZO压缩模块安装 刘学 2011-10-20 0.0.5 修改xdata安装文档目录结构 刘学 2011-12-09 0.0.6 修改其中错误的地方 罗亮 2011-12-09 0.0.7 增加solr单机模式安装 邹跃 2011-12-29 0.1.0 重构文档 罗亮 2012-1-4 0.1.1 增加第24步创建符号链接 康华星 综述 依据 本文档依赖于Apache组织hadoop开源项目的相关资料与文档以及各种网络收集的经过整理的资料。 目的 本文档将指导IT工程人员在单台Linux服务器上安装配置单节点的伪集群服务。 范围 本文档将指导如何获取安装文件构建安装目录、安装JDK、安装hadoop服务、配置云计算实验平台服务平台、HDFS测试、MapReduce测试等。 术语 Hadoop Cygwin Eclipes Xdata 定义在云计算技术基础上的数据应用解决方案产品，适应各种未知数据模型，具备很好的数据应用模式的延展性。 LZO LZO是一个美妙与Hadoop的使用的压缩方案，因为它的速度非常快，支持splittable(可分块)。 Gzip很快，但不能利用Hadoop的自然地图的优势分裂，因为这是不可能的，开始一个随机文件中的偏移量开始解压缩GZIP流的。LZO的块格式能够在解压缩文件的某些特定的偏移执行解压——在新的LZO块边界开始。LZO除了支持解压，这个类（pression.lzo.LzoIndexer）提供了一个进程中的索引器以及Map-Reduce风格索引器，它将读取一组LZO文件，将输出的LZO块边界偏移量与Hadoop文件块边界自然融合。这使得大量的LZO文件分割成多个映射器和并行处理。压缩，因为它是从磁盘读取的数据较少，最大限度地减少所需的IOPS数。和lzo减压是如此之快，CPU保持领先磁盘中读取的，所以不必解压缩，因为它的读取磁盘数据，也没有性能的影响。 Gzip 某种压缩格式，速度快，但是不支持压缩分块。  安装环境 硬件环境 CPU：无特殊要求 内存：无特殊要求 硬盘：无特殊要