基于HADOOP云计算研...docVIP

基于hadoop的云计算研究 拟研究的题目 基于mapreduce的PI(蒙特卡洛)算法（一个组） 基于mapreduce的蚁群算法（人工智能专业完成） 2、基于mapreduce的遗传算法(tan), 如何编程、调试、性能评估（关键技术） 基于mapreduce的粒子群算法 基于mapreduce的基因表达式编程 基于mapreduce的文化算法研究（进化算法研究） 3、基于hadoop的大规模数据排序算法，（海量数据的生成），围绕教育做点研究。(shen) 基于hadoop的数据挖掘平台（算法） 何清 寻找海量数据（上哪去找）北京大学、查某某。 4、Hbase的使用、实现以及与关系数据库的区别 5、yuntable源代码分析与扩展 6、cloudsim调度算法的修改 云数据库，网络（磁盘）I/O密集型； 手机计算任务迁移到云中，降低迁移开销，因为手机计算能力不强。 Hadoop完全分布式环境下的配置 主要参考文献： 刘鹏 《云计算》（第二版） 1．环境需求： 假定有3台机器，配置如下： 20 sony //作为Hadoop的master用 Fedora Core9 0 intel //作为Hadoop的数据节点用 RHEL5 00 amd //作为Hadoop的数据节点用 Ubuntu 修改三台电脑的/etc/hosts文件，加入如下信息 20 sony //作为Hadoop的master用 Fedora Core9 0 intel //作为Hadoop的数据节点用 RHEL5 00 amd //作为Hadoop的数据节点用 Ubuntu 配置SSH（必须禁用防火墙,iptable，netfilter等） 在三台电脑上，创建新用户grid Useradd –m grid Passwd grid 2．配置SSH 安装openssh-server: #sudo apt-get install openssh-server 实现三台电脑两两之间免登录，而不仅仅是master免密码登陆slave 用grid用户登录 在用户主目录下 mkdir .ssh ssh-keygen –t rsa chmod 755 .ssh cd .ssh cp id_rsa.pub authorized_keys 在每个机器上手工创建.ssh,并且一定要设置 chmod 755 .ssh 在sony上用ssh intel ; ssh amd登录 intel和amd。 然后 Scp * intel:/home/grid/.ssh Scp * amd:/home/grid/.ssh Chmod 644 authorized_keys //好像并不需要 注意 ：（a）ssh的配置成功的关键在于：生成、导入对方公钥；更改~/.ssh的模式为755，~/.ssh/authorized_keys的模式为644。还需要验证集群中的其它机器的ssh配置是否成功。如果不需要密码即能打印出对方的主机名，则ssh配置成功。jdk-6u26-linux-i586.bin，此版本在AMD 64位操作系统环境下解压不成功，特提醒。该文件是自解压文件，直接在/home/grid目录下解压，此操作在三台电脑上都需要。 4，Hadoop环境配置： （1）下载： 下载Hadoop的压缩包：本文使用的版本是 hadoop-0.21.0，在参考文档时要注意版本差异，会略有不同。 稳定版本： hadoop-0.20.2 只需要在master机器上解压并进行配置，等全部配置完成后，再使用远程拷贝的方法进行同步，以避免配置不一致。 在/home/grid目录下 #tar xzvf hadoop-0.20.1.tar.gz 配置conf/hadoop-env.sh文件，设置JAVA_HOME路径； 修改的地方为：export JAVA_HOME=/usr/lib/jvm/java-6-sun （2）配置端口文件： 1）配置conf/core-site.xml文件： ?xml-stylesheet type=text/xsl href=configuration.xsl? !-- Put site-specific property overrides in this file. -- configuration property name/name valuehdfs://sony:9000/value /property /configuration 2）配置conf/mapred-site.xml ?xml-stylesheet type=text/xsl href