• hdfs集群数据迁移/DataNode节点维护/集群重命名--小结


    hdfs集群数据迁移–Distcp工具使用
    假设我们想要把集群A的数据迁移到集群B中,首先我们要查看下集群A的NameNode界面上面是否有丢失块或者损坏快等信息,如果存在,首先用hadoop fsck 工具修复数据块,并且在随后迁移的过程中也要一直进行这个查找修复数据块的操作,随后可以用一下数据进行数据迁移操作,不过这里要根据集群A的是否静态还是动态分两种情况。
    情况1:假设集群A是静态集群,也就是集群A的数据是固定不变的,那么直接用Distcp把顶级目录迁移到集群B即可
    情况2:假设集群A的数据是动态变化的,那么我们可以先对集群A的目录进行一次快照操作,并把这次快照利用Distcp命令同步到集群B中,同步完后,再次对集群A的目录进行快照操作,不过随后可以利用Distcp的–delete --update的命令只同步增量变化的文件到集群B中,不断重复这个过程,直到集群B的数据和集群A的数据相同为止
    二.DataNode节点维护操作
    1.当我们想对某个DataNode进行比如一些短暂的停机维护操作时(不需要改变ip地址),为了防止集群中大量的块复制操作,我们只要能够在Namenode的心跳检测时间内完成DataNode的维护操作并启动节点即可,所以我们可以调整dfs.namenode.heartbeat.recheck-interval参数的数值适当增加心跳超时的配置
    2.切换DataNode的ip的情况,停止DataNode节点,修改ip地址,然后启动DataNode即可,只要我们能及时的启动切换ip后的DataNode服务,整个集群的块复制操作就会极少,对集群的影响也很小,其实这种情况和新增另一个带有数据的DataNode相似,当集群发现原来ip的DataNode不可用时,集群准备开始进行数据块的拷贝操作,此时当加入了新ip带有数据块的DataNode时,集群发现这些数据块不需要在拷贝了,每个数据块的副本数直接满足要求了
    三.集群的重命名操作
    3.1首先停机集群:包括hdfs,yarn等服务
    3.2 修改配置文件:
    a. core.xml文件中的fs.defaultFS的属性值
    b. yarn-site.xml文件中应用配置属性存放于hdfs的位置属性值:yarn.resourcemanager.fs.state-store.url的属性值
    c. hdfs-site.xml文件中和namenode相关的属性值
    3.3 重新格式化Hdfs所使用的Zookeeper的节点值(hdfs -zkfc formatZK),原因是hdfs会在zk上创建以集群名称命名的znode.

    参考书籍:
    深度剖析hadoop hdfs

  • 相关阅读:
    TCP全队列连接,tcpdum抓包
    web前端期末大作业网页设计与制作 ——汉口我的家乡旅游景点 5页HTML+CSS+JavaScript
    一、重写muduo网络库之服务器编程及测试
    毕业四年,随笔
    tap栏选项卡复用及js内容解析
    (十二)STM32——NVIC中断优先级管理
    docker pull速度慢解决办法
    lesson2(补充)关于>>运算符和<<运算符重载
    数据科学、大数据、人工智能、机器学习的区别是什么?
    web前端之JavaScript的插件下载指令及介绍、npm、install、save、require
  • 原文地址:https://blog.csdn.net/lixia0417mul2/article/details/126318095