• 大数据中经常使用的指令：

    1、Hadoop：

            1、关闭Hadoop集群的安全模式：

    1. hdfs dfsadmin -safemode leave
    2.  
    3.  
    4. #查看集群的模式的状态：
    5. hdfs dfsadmin -safemode get

            2、启动、关闭Hadoop集群：

    1. start-all.sh
    2. stop-all.sh

           查看hdfs目录下的文件：

    hdfs dfs -ls 文件目录

            查看hdfs中文件的内容：

    hdfs dfs -cat 文件路径

            3、停止yarn中进程的命令：

    yarn application -kill 进程号

            4、查看yarn中的log日志：

    yarn logs -applicationID 进程号

            5、查看HDFS中文件大小的命令：

    hdfs dfs -du -h 文件路径

            6、查看yarn中的任务的id：

    yarn application -list

            7、查看历史的命令记录：

    1. history  | grep   hive
    2.  
    3.  
    4. 在历史的命令中查找使用hive的相关的命令。
    2、zookeeper：

            1、启动、关闭zookeeper集群的命令：

    1. zkServer.sh start   #需要在每一个节点上都启动
    2. zkServer.sh stop     #同样也是需要在每一个节点上启动

            2、查看zookeeper集群的状态：

    zkServer.sh status
    3、kafka：

            1、启动kafka，多台节点都需要启动：

    kafka-server-start.sh  -daemon[后台启动] /usr/local/soft/kafka_2.11-1.0.0/config/server.properties
    4、Flink SQL

            1、启动Flink SQL的命令：

    1. 前提是先启动Flink集群或者是Flink的独立集群：
    2. yarn-session.sh -d
    3.  
    4.  
    5. 启动Flink SQL
    6. sql-client.sh
    5、hive相关的命令：
    1. 1、开启hive的元数据服务：
    2.  
    3. nohup hive --server metastore &  后台启动
    6、MySQL相关的命令：

            1、启动Mysql：

    mysql -u 用户名  -p  密码

            2、重启mysql服务：

    systemctl  restart mysqld
    7、hive的相关的命令：
    1. 1、开启元数据服务的命令：
    2.  
    3. nohup  hive --service metastore  &    --后台开启
    4.  
    5.  
    6. 2、hive的三种交互的方式：
    7.  
    8. 1、hive
    9.  
    10. -- hive作为服务器，外界连接
    11. 2、beeline -u jdbc:hive2://master:10000 -n root
    12.  
    13.  
    14. --使用-e参数来直接执行hql的语句
    15.  
    16. hive -e（-f） 'show databases';
    17.  
    18. 可以使用-f 参数通过指定文本文件来执行hql的语句，特点就是执行完sql后，回到linux命令行。
    19. hive  -f hive.sql
    8、Kafka的相关命令：

    kafka启动的顺序：

    1. 1、先启动zookeeper,分别在不同的节点上启动：
    2.  
    3. zkServer.sh  start
    4.  
    5. 查看zookeeper的状态：
    6.  
    7. zkServer.sh status
    8.  
    9.  
    10.  
    11.  
    12. 2、启动kafka,也是分别在不同的节点上启动：
    13.  
    14. kafka-server-start.sh -daemon /usr/local/soft/kafka_2.11-1.0.0/config/server.properties
    15.

    kafka测试：

    1. 创建一个生产者：
    2. kafka-server-start.sh -daemon /usr/local/soft/kafka_2.11-1.0.0/config/server.properties
    3.  
    4.  
    5. 创建一个消费者
    6. kafka-console-consumer.sh --bootstrap-server  master:9092,node1:9092,node2:9092 --from-beginning --topic bigdata
    9、Flink

    关闭flink的命令：

    1. yarn application -list --找出flink正在进行的进程号
    2. yarn application -kill 进程号 关闭对应的进程号

    Flink启动会话集群的命令：

    yarn -session.sh -d

  • 相关阅读:
    【Python】五、程序循环结构
    产品波士顿矩阵
    crond与at任务调度
    给一个喝酒青年的公开状
    图论与宽搜——图中点的层次
    网络——IPV4地址（二）
    Android 10+ wifi使用相关权限问题
    Oracle连接和使用
    Linux下向Github仓库推送
    Python如何优雅地可视化目标检测框
  • 原文地址：https://blog.csdn.net/m0_62078954/article/details/134244886