Hive on Spark使用(1.2.1,1.3.1)(待测试) 2016-02-01 21:00

说明

Hive使用Spark作为执行引擎,而不是使用默认的MapReduce。

使用

将如下spark的jar拷贝到HiveServer2的lib目录下:

spark-assembly-1.3.1-hadoop2.4.0.jar

在hive的beeline中执行如下配置:

1
2
3
4
5
6
7
8
set hive.execution.engine=spark;
set spark.eventLog.enabled=true;
set spark.eventLog.dir=hdfs://myns1/SparkHistory
set spark.executor.memory=400m;
set spark.executor.cores=1;
set spark.executor.instances=2;
set spark.serializer=org.apache.spark.serializer.KryoSerializer;
set spark.master=yarn-cluster;

参考文档

  1. Hive on Spark编程入门指南
Tags: #Hive #Spark    Post on Hive