码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 大数据:Shell的操作(2)


    文章目录

      • 一、移动目录或文件
      • 二、文件合并下载
      • 三、检查文件信息
      • 四、创建时间戳文件
      • 五、复制文件或目录
        • 1、同名复制文件
        • 2、改名复制文件
        • 3、复制目录
      • 六、查看文件大小
      • 七、上传文件
      • 八、下载文件
      • 九、查看某目录下文件个数
      • 十、检查hadoop本地库

    一、移动目录或文件

    • -mv命令兼具移动与改名的双重功能
    • 将/ied目录更名为/ied01
    • 命令:hdfs dfs -mv /ied /ied01
      在这里插入图片描述
    • 利用Hadoop WebUI查看是否更名成功
      在这里插入图片描述
    • 将/ied01/exam.txt更名为/ied01/test.txt
    • 命令:hdfs dfs -mv /ied01/exam.txt /ied01/test.txt
      在这里插入图片描述
    • 查看改名后的test.txt文件内容
      在这里插入图片描述

    二、文件合并下载

    • 现在/ied01里有一个test.txt,创建sport.txt和music.txt并上传
      在这里插入图片描述
    • 合并/ied01目录的文件下载到本地当前目录的merger.txt
    • 命令:hdfs dfs -getmerge /ied01/* merger.txt
      在这里插入图片描述
    • 查看本地的merger.txt,查看是不是三个文件合并后的内容
    • 命令:cat merger.txt
      在这里插入图片描述

    三、检查文件信息

    • 检查test.txt文件
    • 命令:hdfs fsck /ied01/test.txt -files -block -locations -racks
      在这里插入图片描述

    四、创建时间戳文件

    • 在/ied01目录里创建一个文件sunshine.txt
    • 命令:hdfs dfs -touchz /ied01/sunshine.txt
      在这里插入图片描述
    • 这种空文件,一般用作标识文件,也可叫做时间戳文件,再次在/ied01目录下创建sunshine.txt同名文件
      在这里插入图片描述
    • 说明:如果touchz命令的路径指定的文件不存在,那就创建一个空文件;如果指定的文件存在,那就改变该文件的时间戳。

    五、复制文件或目录

    • 创建/ied02
    • 命令:hdfs dfs -mkdir /ied02
      在这里插入图片描述

    1、同名复制文件

    • 将/ied01/music.txt复制到/ied02里
    • 命令:hdfs dfs -cp /ied01/music.txt /ied02
      在这里插入图片描述
    • 查看拷贝生成的文件
      在这里插入图片描述

    2、改名复制文件

    • 将/ied01/test.txt复制到/ied02目录,改名为hello.txt
    • 命令:hdfs dfs -cp /ied01/exam.txt /ied02/hello.txt
      在这里插入图片描述
    • 查看拷贝后的文件内容
      在这里插入图片描述

    3、复制目录

    • 将/ied01目录复制到/ied03目录
    • 命令:hdfs dfs -cp /ied01 /ied03
      在这里插入图片描述
    • 查看拷贝后的目录
      在这里插入图片描述

    六、查看文件大小

    • 命令:hdfs dfs -du /ied01/test.txt 在这里插入图片描述

    七、上传文件

    • copyFromLocal类似于-put
    • 命令:hdfs dfs -copyFromLocal merger.txt /ied02
      在这里插入图片描述
    • 查看是否上传成功
      在这里插入图片描述

    八、下载文件

    • copyToLocal类似于-get
    • 命令:hdfs dfs -copyToLocal /ied01/sunshine.txt sunlight.txt
      在这里插入图片描述
    • 查看是否下载成功
      在这里插入图片描述

    九、查看某目录下文件个数

    • 命令:hdfs dfs -count /ied01
      在这里插入图片描述

    十、检查hadoop本地库

    • 命令:hadoop checknative -a
      在这里插入图片描述
  • 相关阅读:
    计算机网络_互联网的标准化工作及相关组织
    SiR-alkyne/azide 硅基罗丹明-炔基/叠氮 |SIR荧光染料
    Spring学习|使用Spring实现AOP,三种方式:原生Spring API接口、自定义类、注解方式
    [深入研究4G/5G/6G专题-45]: L3信令控制-1-软件功能和整体架构
    python实现分词器
    verilog实现分频(奇数分频,偶数分频,且50%占空比,通用版本)
    自动驾驶入门必须要学会的ADAS(详解)
    技术专家说 | 如何基于 Spark 和 Z-Order 实现企业级离线数仓降本提效?
    Echarts 实现两两柱图重叠(背景和实际值柱图)
    全网超细,自动化测试-数据管理/实施落地问题,跟着直接上高速...
  • 原文地址:https://blog.csdn.net/X_Serendipity/article/details/127995042
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号