Hadoop安装及部署

OS: Ubuntu 12.04
Hadoop: Hadoop 1.0.4

1.安装集群所需软件

1
2
sudo apt-get install install ssh
sudo apt-get install rsync

配置ssh免密码登录

1
2
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

验证是否成功

1
ssh localhost

2.安装JDK

安装部分就不重复了,主要说明下环境变量的添加

1
sudo vi /etc/profile

将下面三句话添加到最后

1
2
3
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

3.安装Hadoop

下载地址:http://apache.etoak.com/hadoop/common/ 建议选择:1.0.x版本的tar文件,不建议使用deb或者rpm的包,因为后面回带来很复杂的程序权限问题。
修改配置文件,指定JDk安装路径

1
vi conf/hadoop-env.sh
1
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk

修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号

1
vi conf/core-site.xml
1
2
3
4
5
6
7
8
9
10
<pre class="brush: xml; gutter: true; first-line: 1"><configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/killua/Application/tmp/hadoop-${user.name}</value>
</property>
</configuration>

修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
vi conf/hdfs-site.xml

1
2
3
4
5
6
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口

1
vi conf/mapred-site.xml
1
2
3
4
5
6
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

启动Hadoop,在启动之前,需要格式化Hadoop的文件系统HDFS

1
2
bin/hadoop namenode -format
然后启动Hadoop所有服务,输入命令

bin/start-all.sh

1
2
3
4
**4.验证是否安装成功**
打开浏览器,分别输入一下网址:
http://localhost:50030 (MapReduce的Web页面)
http://localhost:50070 (HDfS的web页面)
坚持原创技术分享,您的支持将鼓励我继续创作!