Hadoop客户端软件安装(2.4.1) 2015-02-12 20:00

说明

  • 环境规划

客户端Hadoop的主目录为:/opt/hadoop/client/
客户端运行的用户为cheyo。

安装过程

  • 安装Hadoop

获取与服务器端版本相同的hadoop安装包。解压安装。
将NameNode节点上的所有配置(即etc/hadoop/*)文件拷贝到客户端覆盖同名文件。
创建一个临时目录 /opt/hadoop/client/mapred/local

  • core-site.xml
1
2
3
4
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://ctrl:9000</value>
</property>
  • 增加MapReduce配置

在maprep-site.xml增加:

1
2
3
4
<property>
    <name>mapreduce.cluster.local.dir</name>
    <value>/opt/hadoop/client/mapred/local</value>
</property>
  • 在HDFS上创建用户cheyo的主目录
1
2
3
hdfs dfs -mkdir -p /user/cheyo
hdfs dfs -chown cheyo /user/cheyo
hdfs dfs -chgrp cheyo /user/cheyo
  • 设置HDFS目录权限

客户端提交job的时候,需要往HDFS的/tmp目录里写入文件,因此最好把/tmp设置为所有用户都有可读、可写和可执行的权限:

1
2
hdfs dfs -mkdir -p /tmp
hdfs dfs -chmod -R 777 /tmp

Hadoop服务器端配置

  • ctrl的配置文件

mapred-site.xml中增加:

1
2
3
4
<property>
    <name>mapreduce.jobtracker.staging.root.dir</name>
    <value>/user</value>
</property>
  • 重启Hadoop
1
2
3
4
stop-yarn.sh
stop-dfs.sh
start-dfs.sh
start-yarn.sh
Tags: #HDFS #MapReduce    Post on Hadoop