hadoop离线配置

Hadoop 离线配置 一 配置环境 VMware Workstation 7.1 ubuntu 10.10 amd64.iso 两台 ubuntu10.10 x64 的虚拟机 指定 namnode 192.168.174.128 用户 damon datanode 192.168.174.129 用户 damon 二 配置步骤 1 使用 VMware Workstation 安装 ubuntu10.10 64bit 过程略去 2 下载 jdk-6u27-linux-x64.bin 和 hadoop-0.20.203.0rc1.tar.gz 3 安装 jdk(注意由于 ubuntu 是 64bit，应下载 64bit 的 java 虚拟机) #chmod a+x jdk-6u27-linux-x64.bin #./ jdk-6u27-linux-x64.bin #mv jdk1.6 /usr/ 4 配置环境变量 1) 在/etc/profile 中最后添加 export JAVA_HOME=/usr/jdk1.6 export JRE_HOME=/usr/jdk1.6/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 2) 解压 tar xzvf hadoop-0.20.203.0rc1.tar.gz 把 Hadoop 的安装路径也添加到/etc/profile 中 export HADOOP_HOME=/home/damon/software/hadoop-0.20.2 export PATH=$HADOOP_HOME/bin:$PATH 为使环境变量生效执行#source /etc/profile #set 验证 java 环境变量 # java -version damon@namenode:~/software$ java -version java version "1.6.0_27" Java(TM) SE Runtime Environment (build 1.6.0_27-b07) Java HotSpot(TM) 64-Bit Server VM (build 20.2-b06, mixed mode) 5 建立信任关系（一般 ubuntu 现在默认都含有 ssh 服务，启动 #/etc/init.d/ssh start） 在 NameNode 上 1[damon@namenode]#ssh-keygen -t rsa 会在 damon 目录（当前登录用户）下的.ssh 目录下生成 id_rsa id_rsa.pub 两个文件 #cd ~/.ssh/ #cat id_rsa.pub >> authorized_keys 然后使用 scp 将此 authorized_keys 拷贝到 datanode 节点 scp authorized_keys damon@192.168.174.129:/home/damon/.ssh/ 测试信任关系，登录到 datanode 上,ssh 到 namenode 不需要输入 密码即为成功 6 配置 hadoop 配置 hadoop 的 conf 目录下的配置文件 1）core-site.xml fs.default.name hdfs://namenode:8020 2)hdfs-site.xml dfs.replication 1 3)mapred-site.xml mapred.job.tracker namenode:8021 4) hadoop-env.sh 配置其中的 export JAVA_HOME=/usr/jdk1.6 5) 配置 masters 和 slaves 文件 masters 内容为 namenode slaves 内容为 datanode 6 ） 将 配 置 好 的 hadoop 目 录 scp 到 datanode 相 应 的 /home/damon/software/目录下 7 配置 hostname 和 hosts 文件 分别修改/etc/目录下的 hostname 和 hosts 的内容 1）hostname 192.168.174.128 hostname 配置为 namenode 192.168.174.129 hostname 配置为 datanode 2）192.168.174.128 hosts 内容为 192.168.174.128 namenode # Added by NetworkManager 192.168.174.129 datanode 192.168.174.129 hosts 内容为 192.168.174.129 datanode # Added by NetworkManager 192.168.174.128 namenode 把里面的 127.0.0.1 相关的内容都删掉，否则会出现 INFO org.apache.hadoop.ipc.Client: Retrying connect to server 的问（出现 这种问题，ps -aux|grep 8020 可以看出来默认的请求 127.0.0.1 而不 是 namenode 的 8020 端口，所以要删掉 hosts 中关于 127.0.0.1 的内 容） 8 启动 hadoop 1）在 namenode 上 hadoop 的 bin 目录下 ./hadoop namenode -format 格式化 namenode 节点 2）./start-all.sh 启动 hadoop 使用 links http://192.168.174.128:50070 或者 ./hadoop -dfsadmin -report 观察 hadoop 情况 #./hadoop -dfsadmin -report ------------------------------------------------- Datanodes available: 1 (1 total, 0 dead) Name: 192.168.174.129:50010 Decommission Status : Normal Configured Capacity: 8041205760 (7.49 GB) DFS Used: 73728 (72 KB) Non DFS Used: 6991699968 (6.51 GB) DFS Remaining: 1049432064(1000.82 MB) DFS Used%: 0% DFS Remaining%: 13.05% Last contact: Sun Sep 11 19:41:35 CST 2011 3）简单使用 a)拷贝本用户目录下的 baidu 文件夹到 hadoop 的 hdfs 上 hadoop dfs -copyFromLocal /home/damon/baidu baidu b) 查看 hadoop 上的已拷贝的 baidu 文件夹 damon@namenode:~/software/hadoop-0.20.2/bin$ ./hadoop dfs -ls Found 1 items drwxr-xr-x - damon supergroup 0 2011-09-11 15:51 /user/damon/baidu 后续： 上述是我在配置 hadoop 中的一些记录，可供大家参考，如有问题欢 迎指出，谢谢