码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Hadoop集群配置相关架构介绍


    1.HDFS组成架构介绍

    NameNode介绍

    NameNode翻译过来就是名称节点,也就是一个节点管理者,记录者

    NameNode是一个中心服务器,负责管理文件系统的名字空间,以及客户端对文件的访问,管理数据块的映射关系

    鄙人对NameNode理解存在于表层,这边贴另一位博主的文章帮助大家理解Hadoop之NameNode、SecondaryNameNode_麦兜仔的博客-CSDN博客_hadoop namenode secondnamenode

    DataNode介绍

    DataNode翻译过来是数据节点,也就是一个工厂仓库,负责存储和处理

    Datanode是HDFS文件系统的工作节点,它们根据客户端或者是NameNode的调度进行存储和检索数据,并且定期向NameNode发送它们所存储的块(block)的列表。

    所以在集群部署时我们可以多个部署Datanode,用来缓解储存运行压力,相当于扩建工厂

    SecondaryNameNode介绍

    SecondaryNameNode翻译过来就是次要名称节点,也就是辅助NameNode管理HDFS,相当于一个秘书

    辅助NarmeNode,分担其工作量,比如定期合并Fsimage和Edits,并推送给NameNode ,在紧急情况下,可辅助恢复NameNode

    SecondaryNameNode分担了NameNode,在长时间运行下NameNode产生大量运行数据在启动NameNode时需要耗费大量时间,而有了SecondaryNameNode的加入,合并运行数据而减轻NameNode启动加载数据量,加快启动时间。

    而如果相关文件量巨大,合并会消耗大量的io资源,所以在配置时也可以配置多个NameNode以缓解io压力

    2.Yarn组成架构介绍

    ResourceManager介绍

    ResourceManager翻译过来就是资源管理器,对资源进行调度,是掌舵人

    分配运行ApplicationMaster的Container,并通知NodeManager加载Container

    响应ApplicationMaster申请资源的请求,将Container清单返回给ApplicationMaster

    监控NodeManager和ApplicationMaster的状态

    监控整个集群的可用资源

    整个ResourceManager内部结构复杂,有内部有很多细分组件,这边博主能力有限贴一个博主的文章把​​​​​​Hadoop之Yarn_麦兜仔的博客-CSDN博客

    主要是调度资源协调yarn内部各大基础主键,学习实验一般配置1个

    NodeManager介绍

    NodeManager翻译过来就是节点管理器,管理单个节点的资源,就是部门经理

    定时向ResourceManager汇报Container状态

    响应ResourceManager和ApplicationMaster的请求,例如启动或清除Container的命令

    监控Container资源使用情况

    管理Container日志文件

    监控Node节点的状态

    同样NodeManager内部结构复杂,可参考Hadoop之Yarn_麦兜仔的博客-CSDN博客

    节点管理器,就是相当于每台机子的代理人,所以除ResourceManager的主机,其他主机都需要配置


    作为一个初学者,也不知道理解是否正确,大部分是依据链接博主的文章理解

    如果有错误的地方,欢迎大家留言纠正

  • 相关阅读:
    矩阵分析与应用-04-向量空间、内积空间与线性映射01
    springBoot--web--函数式web
    【信号去噪】基于麻雀算法优化VMD实现信号去噪附matlab代码
    【优化求解】整数规划求解机票超售优化赔付问题【含Matlab源码 2182期】
    LLM大模型:在RAG系统中应用知识图谱
    05JVM_类加载阶段
    设计模式之建造者模式
    vue2_路由01_路由的基本使用
    Python 爬虫使用 Selenium 如何在 WebElement 获得属性
    2023湖南省赛-B Square game
  • 原文地址:https://blog.csdn.net/qq_51260764/article/details/126843738
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号