Hive 查询优化

Hive 查询优化

-- 本地
set mapreduce.framework.name=local;
set hive.exec.mode.local.auto=true;
set mapperd.job.tracker=local;
-- yarn
set mapreduce.framework.name=yarn;
set hive.exec.mode.local.auto=false;
set mapperd.job.tracker=yarn

-- 向量模式
set hive.vectorized.execution.enabled=true;
set hive.vectorized.execution.enabled=false;

1
2
3
4
5
6
7
8
9
10
11
12
13

执行以下内容即可开启

set hive.exec.mode.local.auto=true;
set mapperd.job.tracker=local;
set mapreduce.framework.name=local;
set hive.vectorized.execution.enabled=true;
1
2
3
4

注意：在 datagrip 中执行 hive 优化后可能会有如下报错

[08S01][2] Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.q.exec.mr.MapRedTas

1
2

如果出现以上报错，可以通过 Hadoop 配置文件 yarn-site.xml 文件追加以下内容

  
  <property>
    <name>yarn.scheduler.minimum-allocation-mbname>
    <value>1024value>
  property>
  <property>
    <name>yarn.scheduler.maximum-allocation-mbname>
    <value>4096value>
  property>
  <property>
    <name>yarn.nodemanager.resource.memory-mbname>
    <value>4096value>
  property>
1
2
3
4
5
6
7
8
9
10
11
12
13

追加后重启hadoop集群和hive