码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Windows下hadoop单点部署


    前期准备

    电脑安装java8以上的版本
    下载hadoop压缩包,演示选用hadoop-2.7.3,解压到本地路径下

    更改环境变量

    在系统变量的Path中添加%HADOOP_HOME%\bin,%JAVA_HOME%\bin
    如图,新建两个系统变量
    在这里插入图片描述

    更改hadoop配置文件

    进入hadoop-2.7.3/etc/hadoop文件夹
    hadoop-env.cmd
    更改java路径,如果在Program File下,将Program File改成PROGRA~1

    set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_121
    
    • 1

    core-site.xml

    <configuration>
    	<property>
        <name>fs.defaultFSname>
        <value>hdfs://localhost:9000value>   
    	property>
    configuration>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    mapred-site.xml
    将mapred-site.xml.template的template后缀删除
    hdfs-site.xml
    先创建两个文件夹namenode和datanode,namenode文件夹用来存放hadoop的名称节点namenode里的metadata,datanode用来存放HDFS文件系统数据文件的目录。

    <configuration>
    	<property>       
    	<name>dfs.replicationname>       
    	<value>1value>   
    	property>   
    	<property>       
    	<name>dfs.namenode.name.dirname>       
    	<value>/H:/hadoop/hadoop-2.7.3/namenodevalue>//路径为你的namenode存放路径   
    	property>   
    	<property>       
    	<name>dfs.datanode.data.dirname>     
    	<value>/E://hadoop/hadoop-2.7.3/datanodevalue>//路径为你的datanode存放路径   
    	property>
    configuration>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

    yarn-site.xml

    <configuration>   
    	<property>       
    	<name>yarn.nodemanager.aux-servicesname>       
    	<value>mapreduce_shufflevalue>   
    	property>   
    	<property>       
    	<name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>       
    	<value>org.apache.hadoop.mapred.ShuffleHandlervalue>   
    	property>
    configuration>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    启动hadoop

    进入Hadoop-2.7.3的bin文件夹下,输入hdfs namenode -format执行到如下图所示
    在这里插入图片描述
    然后转到Hadoop-2.7.3的sbin文件夹下,输入./start-all.cmd,启动hadoop服务,等待他启动完成。
    在这里插入图片描述

    完成之后,输入jps可以查看运行的所有服务 (前提是java路径设置正确)
    在这里插入图片描述

  • 相关阅读:
    脱离微信运行环境,小程序如何实现微信授权登录
    C++ 队列!还是要从 STL 中的说起……
    部署应用链太费心?Tanssi 教你轻松开发部署
    动手学深度学习(Pytorch版)代码实践 -深度学习基础-06Softmax回归简洁版
    计算机网络——网络安全
    Flutter手势--GestureDetector各种手势使用详情
    Flare Network,跨越互操作性三难困境
    后视镜为什么要检测反射率
    maven入门:一个简单的maven项目
    使用 React 和 Django Channels 构建聊天应用程序
  • 原文地址:https://blog.csdn.net/weixin_47726676/article/details/126507727
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号