码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 浅谈DBT的一些不足之处


            DBT的好处是显而易见的,它支持连接多达41种数据库。而且不需要你写DDL语句,只要写select语句,DBT会自动帮你推断schema结构,将数据写入到数据库中:

    但是使用了一段时间之后,发现DBT也存在着如下这些不足之处:

    1. Hive分区表支持度不够好

            这个其实很dbt生成sql的方式有关。dbt讲数据写入到数据库的时候,是使用create table as *** 的语句写入到数据库的,对应到Hive的话,会生成如下sql语句:

    1. create table testdb.my_first_dbt_model partitioned by (city)
    2. as
    3. with mysource as (
    4. select 1 as id, "name" as name, "city_a" as city
    5. )
    6. select * from mysource

            Hive4.x 才会支持这种语法:https://issues.apache.org/jira/browse/HIVE-20241,当前主流的Hive版本都是1.x 和 2.x,3.x都很少见到,哭死...

    2. Greenplum对应的dbt插件要求要GP版本至少是6.0版本以上

    3. 不支持同时连接多个数据库

    4. cross-database 宏还是少了点,基础的字符串拼接是有的,json解析相关的就没有了...

    anyway,还是希望DBT发展的越来越好吧,hhh

  • 相关阅读:
    前端工程化知识系列(1)
    NFT源码+数字藏品艺术品交易平台+铸造市场转售盲盒商城系统仿鲸探源码+搭建教程
    Bash学习笔记
    微信小程序-枯木学习笔记-知识技能点
    Kaggle 知识点:物体检测赛题步骤
    上海亚商投顾:沪指高开低走 钠离子电池、储能概念崛起
    最常用36个英语万能动词的词组短语和习惯用语大全!
    基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(二)数据源
    搭建统一的依赖管理
    LeetCode - #62 不同路径(Top 100)
  • 原文地址:https://blog.csdn.net/zc19921215/article/details/133050669
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号