Hadoop集群安装

一、集群规划

二、安装JDK和Hadoop

2.1：检查-下是否已经安装过或者系统内置JDK

     [root@hadoop100 ~]# rpm -qa|grep -i java |xargs -n1

      rpm -qa :查询安装的所有rpm软件包

      gre -i：忽略大小写

      xargs -n1：表示每次只传递一个参数

    

     将查询到的内置jdk强制卸载

[root@hadoop100 ~]# rpm -e --nodeps

2.2 :上传jdk1.8.0，hadoop-3.2.2（借助xftp工具）

将jdk-8u301-linux-x64.tar.gz 、hadoop-3.2.2 上传到/opt/software中

2.3：解压jdk和hadoop到/opt/module 下
[root@hadoop100 software]# tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module

      [root@hadoop100 software]# tar -zxvf hadoop-3.2.2.tar.gz -C /opt/module

2.4：配置jdk 、hadoop的环境变量：/etc/profile.d/my_env.sh

      [root@hadoop100 ~]# vim /etc/profile.d/my_env.sh

     在my_env.sh文件中添加以下内容：

#JAVA_HOME
 
export JAVA_HOME=/opt/module/jdk1.8.0_301
 
export PATH=$PATH:$JAVA_HOME/bin
 
#HADOOP_HOME
 
export HADOOP_HOME=/opt/module/hadoop-3.2.2
 
export PATH=$PATH:$HADOOP_HOME/bin
 
export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出： ：x/:wq

2.5：使修改后的文件生效 

      [root@hadoop100 ~]# source /etc/profile 

2.6: 测试是否安装成功

       [root@hadoop100 ~]# java -version

        java version “1.8.0_301”

       [root@hadoop100 ~]# hadoop version

        hadoop-3.2.2  

2.7:重启（如果hadoop命令不能用再重启虚拟机）

       [root@hadoop100 ~]# reboot

• Hadoop目录结构

3.1：查看Hadoop目录结构

   

3.2：重要目录

(1)bin目录:存放对Hadoop相关服务(hdfs, yam, mapred)进行操作的脚本

(2)etc目录:Hadoop的配置文件日录，存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例