OOzie软件安装使用(4.0.1)(未完成) 2015-02-27 18:00

说明

OOzie是一个开源的工作流调度系统,它能够管理逻辑复杂的多个Hadoop作业,按照指定的顺序将其协同运行起来。OOzie运行在Tomcat中。
本文档将OOzie安装在Hadoop环境的Ctrl节点上。

安装过程

安装Maven

安装:

cd /opt
wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.2.5/binaries/apache-maven-3.2.5-bin.tar.gz
tar -zxvf apache-maven-3.2.5-bin.tar.gz
mv apache-maven-3.2.5-bin maven

在/etc/bashrc中增加环境变量:

1
2
export MAVEN_HOME=/opt/maven
export PATH=${MAVEN_HOME}/bin::$PATHH

安装MySQL

省略。

安装Tomcat

安装:

cd /opt
wget http://mirrors.cnnic.cn/apache/tomcat/tomcat-7/v7.0.59/bin/apache-tomcat-7.0.59.tar.gz
tar -zxvf apache-tomcat-7.0.59.tar.gz
mv apache-tomcat-7.0.59 tomcat

在/etc/bashrc中增加环境变量:

1
2
export CATALINA_HOME=/opt/tomcat
export PATH=$PATH:$CATALINA_HOME/bin

将MySQL的JDBC Jar文件拷贝到Tomcat的lib目录下:

1
scp 10.255.1.6:/root/mysql-connector-java-5.1.22-bin.jar /opt/tomcat/lib

下载ExtJS

1
2
3
mkdir /opt/extjs/
cd /opt/extjs/
wget http://extjs.com/deploy/ext-2.2.zip

安装OOzie

1
2
3
4
5
cd /opt
wget http://archive.apache.org/dist/oozie/4.0.1/oozie-4.0.1.tar.gz
tar -zxvf oozie-4.0.1.tar.gz
mv oozie-4.0.1 oozie
cd oozie

OOzie编译准备

OOzie编译时,会根据pom.xml中配置的Hadoop版本号,下载相应版本的Hadoop Lib。因此,编译前需要先配置Hadoop的版本号(此处修改为2.4.1). 同时Java的版本号也要修改:

/opt/oozie/pom.xml:

1
2
3
4
5
6
7
8
<javaVersion>1.7</javaVersion>
<targetJavaVersion>1.7</targetJavaVersion>
...
<hadoop.version>2.3.0</hadoop.version>
<hive.version>1.0.0</hive.version>
<pig.version>0.14.0</pig.version>
<sqoop.version>1.99.6</sqoop.version>
<tomcat.version>7.0.59</tomcat.version>
  • 文件/opt/oozie/hadooplibs/hadoop-2/pom.xml: 修改hadoop-client和hadoop-auth的版本号为2.3.0。
  • 文件/opt/oozie/hadooplibs/hadoop-distcp-2/pom.xml: 修改hadoop-distcp的版本号为2.3.0。
  • 文件/opt/oozie/hadooplibs/hadoop-test-2/pom.xml: 修改hadoop-minicluster的版本号为2.3.0。

注意:oozie本身只支持到2.3.0(大家可以去这里看看,截止到2015-5-7,只支持到hadoop2.3.0),所以这里改为2.3.0。

开始构建:

bin/mkdistro.sh -P hadoop-2 -DskipTest

构建成后,可以在oozie/distro/target目录下看到构建后的文件,例如我的路径是/opt/oozie/distro/target/oozie-3.3.2-distro/oozie-3.3.2,内容如下所示:

Tags: #OOzie    Post on Hadoop