kettle学习总结（1）

1，kettle下载

        kettle本身是Java开发的开源项目，由于某种原因，目前官网已经不支持下载了，可到我的CSDN中下载

        下载完后，还需要安装JDK环境以及对应的数据库驱动包，需要注意的是 该kettle的版本较低，如果你是用的 mysql数据库，需要下载 5.4.7以下的驱动包，下载地址参照以下：

MySQL :: Download Connector/J

2，一切准备就绪后就可以开始使用啦

假设现在有一个场景：需要将本地的所有库同步到目标服务器上对应的数据库中

其中涉及到 数据表的自动创建 以及 数据的自动同步，这里以全量同步为例。

实现步骤分为三大块：定义一个入口 任务，该任务中涵盖 start、库表初始化(删除表及数据)、全量同步、结束

3，main 任务脚本内容

"1.0" encoding="UTF-8"?>
  main
  
  
  
  /
  -
  2024/06/03 09:54:18.592
  -
  2024/06/03 09:54:18.592
  
    
  
    
  
    
    
    
    
    
    
    
      ID_JOB
      Y
      ID_JOB
    
    
      CHANNEL_ID
      Y
      CHANNEL_ID
    
    
      JOBNAME
      Y
      JOBNAME
    
    
      STATUS
      Y
      STATUS
    
    
      LINES_READ
      Y
      LINES_READ
    
    
      LINES_WRITTEN
      Y
      LINES_WRITTEN
    
    
      LINES_UPDATED
      Y
      LINES_UPDATED
    
    
      LINES_INPUT
      Y
      LINES_INPUT
    
    
      LINES_OUTPUT
      Y
      LINES_OUTPUT
    
    
      LINES_REJECTED
      Y
      LINES_REJECTED
    
    
      ERRORS
      Y
      ERRORS
    
    
      STARTDATE
      Y
      STARTDATE
    
    
      ENDDATE
      Y
      ENDDATE
    
    
      LOGDATE
      Y
      LOGDATE
    
    
      DEPDATE
      Y
      DEPDATE
    
    
      REPLAYDATE
      Y
      REPLAYDATE
    
    
      LOG_FIELD
      Y
      LOG_FIELD
    
    
      EXECUTING_SERVER
      N
      EXECUTING_SERVER
    
    
      EXECUTING_USER
      N
      EXECUTING_USER
    
    
      START_JOB_ENTRY
      N
      START_JOB_ENTRY
    
    
      CLIENT
      N
      CLIENT
    
  
  
    
    
    
    
    
      ID_BATCH
      Y
      ID_BATCH
    
    
      CHANNEL_ID
      Y
      CHANNEL_ID
    
    
      LOG_DATE
      Y
      LOG_DATE
    
    
      JOBNAME
      Y
      TRANSNAME
    
    
      JOBENTRYNAME
      Y
      STEPNAME
    
    
      LINES_READ
      Y
      LINES_READ
    
    
      LINES_WRITTEN
      Y
      LINES_WRITTEN
    
    
      LINES_UPDATED
      Y
      LINES_UPDATED
    
    
      LINES_INPUT
      Y
      LINES_INPUT
    
    
      LINES_OUTPUT
      Y
      LINES_OUTPUT
    
    
      LINES_REJECTED
      Y
      LINES_REJECTED
    
    
      ERRORS
      Y
      ERRORS
    
    
      RESULT
      Y
      RESULT
    
    
      NR_RESULT_ROWS
      Y
      NR_RESULT_ROWS
    
    
      NR_RESULT_FILES
      Y
      NR_RESULT_FILES
    
    
      LOG_FIELD
      N
      LOG_FIELD
    
    
      COPY_NR
      N
      COPY_NR
    
  
  
    
    
    
    
    
      ID_BATCH
      Y
      ID_BATCH
    
    
      CHANNEL_ID
      Y
      CHANNEL_ID
    
    
      LOG_DATE
      Y
      LOG_DATE
    
    
      LOGGING_OBJECT_TYPE
      Y
      LOGGING_OBJECT_TYPE
    
    
      OBJECT_NAME
      Y
      OBJECT_NAME
    
    
      OBJECT_COPY
      Y
      OBJECT_COPY
    
    
      REPOSITORY_DIRECTORY
      Y
      REPOSITORY_DIRECTORY
    
    
      FILENAME
      Y
      FILENAME
    
    
      OBJECT_ID
      Y
      OBJECT_ID
    
    
      OBJECT_REVISION
      Y
      OBJECT_REVISION
    
    
      PARENT_CHANNEL_ID
      Y
      PARENT_CHANNEL_ID
    
    
      ROOT_CHANNEL_ID
      Y
      ROOT_CHANNEL_ID
    
  
  N
  
  
    
      START
      
      SPECIAL
      Y
      N
      N
      0
      0
      60
      12
      0
      1
      1
      N
      Y
      0
      176
      208
    
    
      同步aav
      
      TRANS
      filename
      
      ${Internal.Entry.Current.Directory}/sync_aav.ktr
      
      N
      N
      N
      N
      N
      N
      
      
      N
      N
      Basic
      N
      
      N
      Y
      N
      N
      N
      Pentaho local
      
        Y
      
      N
      Y
      0
      640
      48
    
    
      初始化所有表
      
      JOB
      filename
      
      ${Internal.Entry.Current.Directory}/init.kjb
      
      N
      N
      N
      N
      
      
      N
      N
      Nothing
      
      Y
      N
      N
      N
      N
      
        Y
      
      N
      N
      Y
      0
      352
      208
    
    
      DUMMY
      
      SPECIAL
      N
      Y
      N
      0
      0
      60
      12
      0
      1
      1
      N
      Y
      0
      928
      208
    
    
      同步aps
      
      TRANS
      filename
      
      ${Internal.Entry.Current.Directory}/sync_aps.ktr
      
      N
      N
      N
      N
      N
      N
      
      
      N
      N
      Basic
      N
      
      N
      Y
      N
      N
      N
      Pentaho local
      
        Y
      
      N
      Y
      0
      640
      128
    
    
      同步douban
      
      TRANS
      filename
      
      ${Internal.Entry.Current.Directory}/sync_douban.ktr
      
      N
      N
      N
      N
      N
      N
      
      
      N
      N
      Basic
      N
      
      N
      Y
      N
      N
      N
      Pentaho local
      
        Y
      
      N
      Y
      0
      640
      208
    
    
      同步sp-dev
      
      TRANS
      filename
      
      ${Internal.Entry.Current.Directory}/sync_sp-dev.ktr
      
      N
      N
      N
      N
      N
      N
      
      
      N
      N
      Basic
      N
      
      N
      Y
      N
      N
      N
      Pentaho local
      
        Y
      
      N
      Y
      0
      640
      368
    
    
      同步lottery
      
      TRANS
      filename
      
      ${Internal.Entry.Current.Directory}/sync_lottery.ktr
      
      N
      N
      N
      N
      N
      N
      
      
      N
      N
      Basic
      N
      
      N
      Y
      N
      N
      N
      Pentaho local
      
        Y
      
      N
      Y
      0
      640
      288
    
  
  
    
      START
      初始化所有表
      0
      0
      Y
      Y
      Y
    
    
      初始化所有表
      同步aav
      0
      0
      Y
      Y
      N
    
    
      同步aav
      DUMMY
      0
      0
      Y
      Y
      N
    
    
      初始化所有表
      同步douban
      0
      0
      Y
      Y
      N
    
    
      初始化所有表
      同步lottery
      0
      0
      Y
      Y
      N
    
    
      初始化所有表
      同步sp-dev
      0
      0
      Y
      Y
      N
    
    
      初始化所有表
      同步aps
      0
      0
      Y
      Y
      N
    
    
      同步aps
      DUMMY
      0
      0
      Y
      Y
      N
    
    
      同步douban
      DUMMY
      0
      0
      Y
      Y
      N
    
    
      同步lottery
      DUMMY
      0
      0
      Y
      Y
      N
    
    
      同步sp-dev
      DUMMY
      0
      0
      Y
      Y
      N
    
  
  
  
  
    
      METASTORE.pentaho
      
        Default Run Configuration
        {"namespace":"pentaho","id":"Default Run Configuration","name":"Default Run Configuration","description":"Defines a default run configuration","metaStoreName":null}
      
    
    
      {"_":"Embedded MetaStore Elements","namespace":"pentaho","type":"Default Run Configuration"}
      
        Pentaho local
        {"children":[{"children":[],"id":"server","value":null},{"children":[],"id":"clustered","value":"N"},{"children":[],"id":"name","value":"Pentaho local"},{"children":[],"id":"description","value":null},{"children":[],"id":"readOnly","value":"Y"},{"children":[],"id":"sendResources","value":"N"},{"children":[],"id":"logRemoteExecutionLocally","value":"N"},{"children":[],"id":"remote","value":"N"},{"children":[],"id":"local","value":"Y"},{"children":[],"id":"showTransformations","value":"N"}],"id":"Pentaho local","value":null,"name":"Pentaho local","owner":null,"ownerPermissionsList":[]}
      
    
  
4，kettle.properties变量
名称	值
local_ip	localhost
local_user	root
password	123456
schemeName_aav	aav
schemeName_aav1	aav1
schemeName_aps	aps
schemeName_aps1	aps1
schemeName_douban	douban
schemeName_douban1	douban1
schemeName_lottery	lottery
schemeName_lottery1	lottery1
schemeName_sp-dev	sp-dev
schemeName_sp-dev1	sp-dev1
5，在使用组件时，经常会遇到一个问题：数据库中某个值设置的是非null，在同步数据时，起始源数据库的表字段值为空字符串，在进入到kettle中时会默认编程null，这时直接同步会报错，需要更改kettle的配置变量。
        kettle.properties -》KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL=Y
更改后需要重启kettle


                    相关阅读:

                    
5、docker mysql安装                            

MagnTek·新品 | 车规级高带宽高精度平行磁场感应电流传感器-MT9519系列                            

小华HC32F448串口使用                            

【safetensor】Debug                            

SD卡通常是哪种类型的flash？                            

在指定目录下建立conda虚拟环境后发现没有环境名(激活失败)的解决办法                            

【ElasticSearch 集群】Linux安装ElasticSearch集群（图文解说详细版）                            

playwright: local variable ‘page‘ referenced before assignment                            

C语言实现扫雷小游戏                            

西南科技大学派森全套作业                            

                    
                

                    原文地址：https://blog.csdn.net/qq_35255384/article/details/139453105
                

            

                

                    最新文章
                
                

                    
攻防演习之三天拿下官网站群                            

数据安全治理学习——前期安全规划和安全管理体系建设                            

企业安全 | 企业内一次钓鱼演练准备过程                            

内网渗透测试 | Kerberos协议及其部分攻击手法                            

0day的产生 | 不懂代码的"代码审计"                            

安装scrcpy-client模块av模块异常，环境问题解决方案                            

leetcode hot100【LeetCode 279. 完全平方数】java实现                            

OpenWrt下安装Mosquitto                            

AnatoMask论文汇总                            

【AI日记】24.11.01 LangChain、openai api和github copilot                            

                    
                
            

            

                

                    热门文章
                
                

                    
十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧！！！                            

奉劝各位学弟学妹们，该打造你的技术影响力了！                            

五年了，我在 CSDN 的两个一百万。                            

Java俄罗斯方块，老程序员花了一个周末，连接中学年代！                            

面试官都震惊，你这网络基础可以啊！                            

你真的会用百度吗？我不信 — 那些不为人知的搜索引擎语法                            

心情不好的时候，用 Python 画棵樱花树送给自己吧                            

通宵一晚做出来的一款类似CS的第一人称射击游戏Demo！原来做游戏也不是很难，连憨憨学妹都学会了！                            

13 万字 C 语言从入门到精通保姆级教程2021 年版                            

10行代码集2000张美女图，Python爬虫120例，再上征途