码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • flink 流计算一条一条处理日志


    [root@master pyflink]# cat test.txt 
    aaaaa 111111
    bbbbb 222222
    ccccc 333333
    ddddd 444444
    eeeee 555555
    [root@master pyflink]# cat test.py 
    # -*- coding: utf-8 -*-
    from pyflink.datastream import StreamExecutionEnvironment
    from pyflink.datastream.functions import  MapFunction, RuntimeContext, KeyedProcessFunction
    from abc import ABC, abstractmethod
    from pyflink.datastream import StreamExecutionEnvironment
    from pyflink.datastream.functions import  MapFunction, RuntimeContext, KeyedProcessFunction
    from pyflink.datastream.state import MapStateDescriptor
    from pyflink.datastream.connectors.kafka import FlinkKafkaConsumer
    from pyflink.common.typeinfo import Types, TypeInformation
    from pyflink.datastream.connectors.elasticsearch import Elasticsearch7SinkBuilder, ElasticsearchEmitter, FlushBackoffType
    from pyflink.datastream.connectors import DeliveryGuarantee
    from pyflink.common.serialization import SimpleStringSchema
    import json
    import re
    from datetime import datetime
    from elasticsearch import Elasticsearch
    from pyflink.datastream.functions import RuntimeContext, FlatMapFunction

    import re
    import redis


    # 创建 StreamExecutionEnvironment 对象
    env = StreamExecutionEnvironment.get_execution_environment()
    env.set_parallelism(1)

    # 读取文件,创建 DataStream 对象
    data_stream = env.read_text_file('/root/pyflink/test.txt')
    def my_map_func(value):
        return  int(value.split(' ')[1]) + 1
    new_stream = data_stream.map(my_map_func)
    # 输出到控制台
    new_stream.print()

    # 执行任务
    env.execute('Add "bus_seq" to each line')

     def map(self, func: Union[Callable, MapFunction], output_type: TypeInformation = None) \
                -> 'DataStream':
            """
            Applies a Map transformation on a DataStream. The transformation calls a MapFunction for
            each element of the DataStream. Each MapFunction call returns exactly one element.
            
    [root@master pyflink]# python test.py 
    111112
    222223
    333334
    444445
    555556
            

  • 相关阅读:
    Python网页信息操作——webbrowser
    【Java PTA作业】当老师一口气布置八个作业( 5 / 8 )
    【Qt之Model/View】编程
    二叉树题目:最大二叉树 II
    FPGA与单片机有什么区别?
    会展购票系统有哪些特点?如何选择好的会展购票系统开发公司
    经营分析会上,销售和财务老打架,老板很抓狂,该如何解决?
    radware负载均衡简介及应用场景
    SpringBoot统一异常处理详解
    Flutter 教程之高效且精美的滚动组件Slivers (教程含源码)
  • 原文地址:https://blog.csdn.net/zhaoyangjian724/article/details/131142491
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号