码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Hive【非交互式使用、三种参数配置方式】


    前言

            今天开始学习 Hive,因为毕竟但凡做个项目基本就避不开用 Hive ,争取这学期结束前做个小点的项目。

            第一篇博客内容还是比较少的,环境的搭建配置太琐碎没有写。

    Hive 常用使用技巧

    交互式使用

    就是我们正常的进入 hive 命令行下的使用模式。

    非交互式使用

    所谓非交互式,也就是不需要进入 hive 命令行,直接在我们 linux Shell 命令行中执行。

    hive -e

    1. # 一段带字符串的 SQL
    2. -e SQL from command line

    案例: 

    [lyh@hadoop102 hive-3.1.2]$ hive -e "insert into stu values(2,'lyh')"
    

    hive -f

    1. # 执行文件中的所有 SQL
    2. -f SQL from filename

    案例:

    将要执行的sql写入一个文件:

    1. vim stu.sql
    2. #写如以下sql 用分号隔开
    3. insert into stu values(3,"ls");
    4. select * from stu;

    执行:

    [lyh@hadoop102 ~]$ hive -f stu.sql 

    Hive 参数配置方式

    (1)查看当前所有的配置信息

    hive> set;

    (2)查看某个参数的配置信息

    1. # 查看reduce开启的数量
    2. hive(default)>set mapreduce.job.reduces;

    (3)设置参数

    1. hive-site.xml

    这种设置参数的方式全局永久生效。

    2. 命令行参数

    启动 Hive 时,可以在命令行添加 -hiveconf param=value 的方式来设置参数。

    这种设置参数的方式全局仅对本次 Hive 启动生效。

    1. # 设置一个作业中reduce开启的数量
    2. [lyh@hadoop102 hive-3.1.2]$ hive -hiveconf mapreduce.job.reduces=10;
    3.参数声明方式

    可以在 HQL 中使用 SET 关键字来设定参数:

    hive(default)> set mapreduce.job.reduces=10;

    同样,仅对本次Hive 启动生效。

    查看参数设置:

    hive(default)> set mapreduce.job.reduces;
    总结

            上面三种参数设置方式的优先级为 hive-site.xml < 命令行参数 < 参数声明 。除了某些系统级的参数,比如 log4j 相关的设置,必须使用前两种设置方式,因为那些参数的读取已经在会话建立前已经完成了。

  • 相关阅读:
    【PyTorch】深度学习实践 01 Overview
    如何在 WSL 下实现 NGINX 反向代理
    Git 分布式版本控制工具03Git常用命令:Git全局设置+本地与远程仓库操作获取Git仓库+标签操作+忽略名单+工作区、暂存区、版本库+分支操作+暂时保存
    2022 11月24 Ridge/LASSO Regression学习笔记
    Mybatis-多表联查
    Golang语言设计模式的实现—工厂模式
    【C语言】对文件的输入输出
    【源码系列#03】Vue3计算属性原理(Computed)
    UML类图绘制指南
    IPV4地址概述
  • 原文地址:https://blog.csdn.net/m0_64261982/article/details/132910214
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号