海豚调度系列之：任务类型——Flink节点

海豚调度系列之：任务类型——Flink节点

一、Flink节点
二、创建任务
三、任务参数
四、任务样例
- 1.在 DolphinScheduler 中配置 flink 环境
- 2.任务流程
五、注意事项

一、Flink节点

Flink 任务类型，用于执行 Flink 程序。对于 Flink 节点：

当程序类型为 Java、Scala 或 Python 时，worker 使用 Flink 命令提交任务 flink run。
当程序类型为 SQL 时，worker 使用sql-client.sh 提交任务。

二、创建任务

点击项目管理-项目名称-工作流定义，点击“创建工作流”按钮，进入 DAG 编辑页面；
拖动工具栏的任务节点到画板中。

三、任务参数

任务参数	描述
程序类型	支持 Java、Scala、 Python 和 SQL 四种语言
主函数的 Class	Flink 程序的入口 Main Class 的全路径
主程序包	执行 Flink 程序的 jar 包（通过资源中心上传）
部署方式	支持 cluster、 local 和 application 三种模式的部署
初始化脚本	用于初始化会话上下文的脚本文件
脚本	用户开发的应该执行的 SQL 脚本文件
Flink 版本	根据所需环境选择对应的版本即可
任务名称（选填）	Flink 程序的名称
jobManager 内存数	用于设置 jobManager 内存数，可根据实际生产环境设置对应的内存数
Slot 数量	用于设置 Slot 的数量，可根据实际生产环境设置对应的数量
taskManager 内存数	用于设置 taskManager 内存数，可根据实际生产环境设置对应的内存数
taskManager 数量	用于设置 taskManager 的数量，可根据实际生产环境设置对应的数量
并行度	用于设置执行 Flink 任务的并行度
Yarn 队列	用于设置 Yarn 队列，默认使用 default 队列
主程序参数	设置 Flink 程序的输入参数，支持自定义参数变量的替换
选项参数	设置Flink命令的选项参数，例如-D, -C, -yt
自定义参数	是 Flink 局部的用户自定义参数，会替换脚本中以 ${变量} 的内容

四、任务样例

执行 WordCount 程序

本案例为大数据生态中常见的入门案例，常应用于 MapReduce、Flink、Spark 等计算框架。主要为统计输入的文本中，相同的单词的数量有多少。

1.在 DolphinScheduler 中配置 flink 环境

若生产环境中要是使用到 flink 任务类型，则需要先配置好所需的环境。配置文件如下：bin/env/dolphinscheduler_env.sh。

在这里插入图片描述

2.任务流程

上传主程序包

在使用 Flink 任务节点时，需要利用资源中心上传执行程序的 jar 包。

当配置完成资源中心之后，直接使用拖拽的方式，即可上传所需目标文件。

在这里插入图片描述
配置 Flink 节点

根据上述参数说明，配置所需的内容即可。

在这里插入图片描述

执行 FlinkSQL 程序

根据上述参数说明，配置所需的内容即可。

在这里插入图片描述

五、注意事项

Java 和 Scala 只是用来标识，没有区别，如果是 Python 开发的 Flink 则没有主函数的 class，其余的都一样。
使用 SQL 执行 Flink SQL 任务，目前只支持 Flink 1.13及以上版本。

相关阅读:
Python网络通信 TCP/IP/HTTP的区别
 【计算机组成原理】原码反码补码移码
 Air001 高级定时器输入捕获功能测量脉宽和频率
 【前端指南】Axios框架与应用
 利用随机数生成猜数字游戏【C语言】
[附源码]Python计算机毕业设计Django物业管理系统
 神经网络参数的学习-损失函数与梯度下降
 基于YOLO实现的口罩佩戴检测 - python opemcv 深度学习计算机竞赛
 leetCode 76. 最小覆盖子串 + 滑动窗口 + 哈希Hash
Python --- 在python中安装NumPy，SciPy，Matplotlib以及scikit-learn(Windows平台)
原文地址：https://blog.csdn.net/zhengzaifeidelushang/article/details/136687233