• [hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件②

    👨‍🎓👨‍🎓博主：发量不足

    个人简介：耐心，自信来源于你强大的思想和知识基础！！

    📑📑本期更新内容：安装Hadoop、配置Hadoop 配置文件②🔥🔥🔥

    📑📑下篇文章预告：安装Hadoop、配置Hadoop 配置文件③🔥🔥🔥

     

    目录

    一、配置 core-site.xml 文件参数

    二、配置 mapred-site.xml  （Mapreduce参数）

     三、配置 yarn-site.xml

     

    一、配置 core-site.xml 文件参数

    （1） vi core-site.xml  （集群全局参数）

    （2） 在文件中和一对标签之间追加以下配置信息      

    1.   
    2.  
    3.                 fs.defaultFS
    4.  
    5.                 hdfs://192.168.196.101:9000
    6.  
    7.         
    8.  
    9.         
    10.  
    11.                 io.file.buffer.size
    12.  
    13.                 131072
    14.  
    15.         
    16.  
    17.         
    18.  
    19.                 hadoop.tmp.dir
    20.  
    21.                 file:/opt/module/hadoop/tmp
    22.  
    23.         

    564f66a5de794bb2a022a0bd193eecbd.png

     

     

    注：IP地址是master的

    二、配置 mapred-site.xml  （Mapreduce参数）

    （1） cp mapred-site.xml.template mapred-site.xml

    （2）  vi mapred-site.xml

    （3）  在文件中和一对标签之间追加以下配置信息       

    1.  
    2.  
    3.                 mapreduce.framework.name
    4.  
    5.                 yarn
    6.  
    7.         
    8.  
    9.         
    10.  
    11.                 mapreduce.jobhistory.address
    12.  
    13.                 master:10020
    14.  
    15.         
    16.  
    17.         
    18.  
    19.                 mapreduce.jobhistory.webapp.address
    20.  
    21.                 master:19888
    22.  
    23.         

    272411a4c71e41e0aafd37b466b2d435.png

     

     

     三、配置 yarn-site.xml

    （1） 集群资源管理系统参数

              vi yarn-site.xml  

    （2） 在文件中和一对标签之间追加以下配置信息       

    1.  
    2.  
    3.                 yarn.resourcemanager.address
    4.  
    5.                 master:8032
    6.  
    7.         
    8.  
    9.         
    10.  
    11.                 yarn.resourcemanager.scheduler.address
    12.  
    13.                 master:8030
    14.  
    15.         
    16.  
    17.         
    18.  
    19.                 yarn.resourcemanager.resource-tracker.address
    20.  
    21.                 master:8031
    22.  
    23.         
    24.  
    25.         
    26.  
    27.                 yarn.resourcemanager.admin.address
    28.  
    29.                 master:8033
    30.  
    31.         
    32.  
    33.         
    34.  
    35.                 yarn.resourcemanager.webapp.address
    36.  
    37.                 master:8088
    38.  
    39.         
    40.  
    41.         
    42.  
    43.                 yarn.nodemanager.aux-services
    44.  
    45.                 mapreduce_shuffle
    46.  
    47.         
    48.  
    49.         
    50.  
    51.                 yarn.nodemanager.aux-services.mapreduce.shuffle.class
    52.  
    53.                 org.apache.hadoop.mapred.ShuffleHandler
    54.  
    55.         

    0cbfd041ee58405fb8b9e0b983ace87c.png

     

     

  • 相关阅读:
    day21-web开发会话技术03
    【论文解读】Modular Blind Video Quality Assessment
    中国智能客服发展历程
    DHorse系列文章之镜像制作
    从0到0.01入门React | 010.精选 React 面试题
    听劝！不要啥都不懂就学PMP！这100个考试关键点，带你直击考试现场
    gitlab环境准备
    记一次springboot项目结合arthas排查ClassNotFoundException问题
    03 【流程控制语句】
    没有虚拟DOM版本的vue（Vue Vapor）
  • 原文地址：https://blog.csdn.net/m0_57781407/article/details/128184036