Mac Catalina安装配置hadoop hive hbase

brew 安装

brew reinstall hadoop hive hbase

---

hadoop配置与操作

进入主目录：

/usr/local/Cellar/hadoop/3.1.2

配置文件都在/usr/local/Cellar/hadoop/3.1.2/libexec/etc/hadoop

1.修改hadoop-env.sh中的JAVA_HOME

运行：

/usr/libexec/java_home
1

查看

2.core-site.xml

<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>

        <description>A base for other temporary directories</description>

    </property>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://localhost:9000</value>

    </property>

</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

3.hdfs-site.xml

变量dfs.replication指定了每个HDFS数据库的复制次数。 通常为3, 由于我们只有一台主机和一个伪分布式模式的DataNode，将此值修改为1

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>
1
2
3
4
5
6
7
8
9
10
11

4.格式化(进入主目录)

格式化hdfs操作只要第一次才使用，否则会造成数据全部丢失

./bin/hdfs namenode -format
1

启动

注意路径，一定要在安装的根目录下操作，否则会失败

/usr/local/Cellar/hadoop/3.1.2
1

启动关闭hadoop

./sbin/start-dfs.sh

./sbin/stop-dfs.sh
1
2
3

查看hadoop

http://localhost:9870/

启动关闭hadoop的资源管理（没怎么用过，启动过程没有）

./sbin/start-yarn.sh

./sbin/stop-yarn.sh
1
2
3

查看yarn

http://localhost:8088/cluster

启动/关闭Hadoop服务(等效上面两个，但没怎么用过)

./start-all.sh

./stop-all.sh
1
2
3

创建目录（未使用）

./bin/hdfs dfs -mkdir /user
1

这里的/user不是mac的/user，指的是hdfs的路径。

./bin/hdfs dfs -mkdir /user/input
1

---

hbase操作（非必须安装）

/usr/local/Cellar/hbase/1.3.4
1

一定要在安装目录下

./bin/start-hbase.sh

./bin/stop-hbase.sh
1
2
3

---

hive安装与使用（结合上面的hadoop）

安装

brew install hive

查看HIVE_HOME

/usr/local/Cellar/hive/3.1.2

配置，使用mysql做metastore

放mysql jdbc 连接包

mysql-connector-java-5.1.27.jar

放到$HIVE_HOME/libexec/lib/下

下载地址：

https://dev.mysql.com/downloads/connector/j/5.1.html

进入mysql

mysql -uroot -p

create database metastore;

修改配置文件

cd $HIVE_HOME/libexec/conf/

cp hive-default.xml.template hive-site.xml

vi hive-site.xml
1
2
3
4
5

修改如下：

数据库相关

<property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>root</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>yourpassword123456</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost/metastore</value>

</property>

<property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

hive文件目录

<property>

    <name>hive.exec.scratchdir</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.exec.local.scratchdir</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.downloaded.resources.dir</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.querylog.location</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.server2.logging.operation.log.location</name>

    <value>/tmp/hive</value>

</property>

<property>

    <name>hive.query.results.cache.directory</name>

    <value>/tmp/hive/_resultscache_</value>

</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

初始化数据库

$HIVE_HOME/bin/schematool -dbType msyql -initSchema
1

启动Hive 的 Metastore Server服务进程（重要）

$HIVE_HOME/bin/hive --service metastore &
1

起动

hive
1

检查

hive>show tables;
1