flink 处理IOT数据

一、需求：

• 1、flink实时接收mqtt消息。
• 2、根据租户表的租户数据开通动态状态，存储数据到相应数据Hbase表，每个设备的测点不固定；
• 3、根据规则表中设备的动态规则配置情况，进行报警或者事件触发。
• 4、根据能源表，获取配置信息中位置与能源类型，保存测点每个小时的最大值、最小值、平均值、总数值、首值、尾值，首位差值，7个指标

二、涉及知识：

1、概况：

• 自定义sourth、sink；
• flink CDC的配置与自定义序列化器
• 侧输出流分流；
• 广播流的连接与处理；
• 状态编程与规则匹配计算；
• 滚动窗口全量处理
• watermark水印处理

2、具体：

• 1、flink自定义mqtt数据源；
• 2、flink CDC 实时获取Mysql 中binglog数据，并自定义序列化器接收binglog数据，生成维度信息配置流；
• 3、维度信息配置流，通过侧输出流进行分流；
• 4、flink流实时更新维度配置；
  • 1）维度数据流转换为广播流，需要注册一个MapStateDescriptor；
  • 2）mqtt数据与维度数据流连接，
  • 3）流连接的BroadcastProcessFunction处理，
  • 4）proces