• Windows下的Hadoop(个人附加,有需要的看看,当个参考)


     一、解压Hadoop安装

    在D盘创建一个文件夹,将Hadoop解压到该文件夹内,本人的是HadoopWindowsEclipse内

    二、添加系统环境变量

    1. Hadoop环境变量:
    2. 变量名:HADOOP_HOME 变量值:D:\HadoopWindowsEclipse\hadoop-2.10.2 注:自己Hadoop的地址
    3. 变量名:HADOOP_USER_NAME 变量值:root

    三、Hadoop的Windows安装
    1.进入D:\HadoopWindowsEclipse\hadoop-2.10.2\etc\hadoop中找到以下几个文件用文本编辑器打开
    2.打开 hadoop-2.7.3/etc/hadoop/core-site.xml, 复制下面内容粘贴到最后并保存

    1. <configuration>
    2.     <property>
    3.     <name>fs.defaultFSname>
    4.     <value>hdfs://localhost:9000value>   
    5.     property>
    6. configuration>

    3.打开 hadoop-2.7.3/etc/hadoop/mapred-site.xml, 复制下面内容粘贴到最后并保存

    1. <configuration>   
    2.     <property>       
    3.     <name>mapreduce.framework.namename>       
    4.     <value>yarnvalue>   
    5.     property>
    6. configuration>

    4.打开 hadoop-2.7.3/etc/hadoop/hdfs-site.xml, 复制下面内容粘贴到最后并保存

    在hadoop-2.10.2文件夹内创建两个文件夹namenode;datanode

    1. <configuration>
    2.     <property>       
    3.     <name>dfs.replicationname>       
    4.     <value>1value>   
    5.     property>   
    6.     <property>       
    7.     <name>dfs.namenode.name.dirname>       
    8.     <value>/D:/HadoopWindowsEclipse/hadoop-2.10.2/namenodevalue>  
    9.     property>   
    10.     <property>       
    11.     <name>dfs.datanode.data.dirname>     
    12.     <value>/D:/HadoopWindowsEclipse/hadoop-2.10.2/datanodevalue
    13.     property>
    14. configuration>

    4.打开 hadoop-2.7.3/etc/hadoop/yarn-site.xml,复制下面内容粘贴到最后并保存

    1. <configuration>   
    2.     <property>       
    3.     <name>yarn.nodemanager.aux-servicesname>       
    4.     <value>mapreduce_shufflevalue>   
    5.     property>   
    6.     <property>       
    7.     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>       
    8.     <value>org.apache.hadoop.mapred.ShuffleHandlervalue>   
    9.     property>
    10. configuration>

    四、启动Hadoop服务
    1、以管理员身份打开命令提示符到Hadoop-2.7.3\bin下,输入hdfs namenode -format执行到如下图所示 格式化之后,namenode文件里会自动生成一个current文件,则格式化成功。

    2、然后转到Hadoop-2.7.3\sbin下,输入start-all.cmd,启动hadoop服务,等待他启动完成。
    完成之后,输入jps可以查看运行的所有服务 ,显示的就是正在运行的,确保以上服务全部都启动了!

  • 相关阅读:
    逍遥自在学C语言 | 位运算符^的高级用法
    Hudi 系列-基础概念-索引机制
    FastDFS文件同步机制分析
    前端程序员辞掉朝九晚五工作成为独立开发者一年开发出6款软件的故事
    【Redis】初识Redis
    【应用】布隆过滤器
    DP读书:开源软件的影响力(小白向)解读Embedded_SIG介绍以及代码架构解析
    Java关键字、转义字符与运算符优先级
    剩下的数。
    make命令常用选项 + gcc 常用选项
  • 原文地址:https://blog.csdn.net/qq_62845367/article/details/127803644