Flink SQL DataGen Connector 示例

Flink SQL DataGen Connector 示例

1、概述

使用 Flink SQL DataGen Connector，可以快速地生成符合规则的测试数据，可以在不依赖真实数据的情况下进行开发和测试。

2、使用示例

创建一个名为 “users” 的表，包含 6 个字段：id、name、age、email、created_at 和 updated_at。

在表的定义中，指定各个字段的规则：

id 字段使用序列生成器，生成的范围从 1 到 1000；

name 字段的长度为 10 个字符；

age 字段的范围从 18 到 60 岁；

email 字段的长度为随机的10个字符；

created_at 和 updated_at 字段使用随机时间生成器，时间范围从 2022 年 1 月 1 日到 2022 年 12 月 31 日。

3、官网参数介绍

1）数据类型注释

2）连接器参数：

4、代码示例

CREATE TABLE users (
  id BIGINT,
  name STRING,
  age INT,
  text STRING,
  created_at TIMESTAMP(3),
  updated_at TIMESTAMP(3)
) WITH (
  'connector' = 'datagen',
  'fields.id.kind' = 'sequence',
  'fields.id.start' = '1',
  'fields.id.end' = '1000',
  'fields.name.length' = '10',
  'fields.age.min' = '18',
  'fields.age.max' = '60',
  'fields.text.length' = '5'
);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

测试结果：

select * from users;
1