码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Apache Airflow (三) :Airflow WebUI操作介绍


    🏡 个人主页:IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客

     🚩 私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。

     🔔 博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频


    目录

    1. DAG

    2. Security

    ​​​​​​​3. Browse

    ​​​​​​​4. Admin

    ​​​​​​​5. Docs


    1. DAG

    DAG有对应的id,其id全局唯一,DAG是airflow的核心概念,任务装载到DAG中,封装成任务依赖链条,DAG决定这些任务的执行规则。

    点击以上每个DAG对应的id可以直接进入对应“Graph View”视图,可以查看当前DAG任务执行顺序图。

    以上“Runs”列与“Recent Tasks”列下的“圆圈”代表当前DAG执行的某种状态,鼠标放到对应的“圆圈”上可以查看对应的提示说明。点击以上“Links”之后,出现以下选项:

    • Tree View

    将DAG以树的形式表示,如果执行过程中有延迟也可以通过这个界面查看问题出现在哪个步骤,在生产环境下,经常通过这个页面查看每个任务执行情况。

    点击以上每个有颜色的“小块”都可以看到task详情:

    • Graph View

    此页面以图形方式呈现DAG有向无环图,对于理解DAG执行非常有帮助,不同颜色代表task执行的不同状态。

    点击任意一个task,都可以看到当前task执行情况:

    • Calendar View

    日期视图,显示当前年每月每天任务执行情况。

    • Task Duration

    此视图表示不同的task在过去每天执行的时长,可以通过每日执行时长对比,发现同一个task执行耗时情况。

    • Task Tries

    此视图显示每个task重试次数情况。

    • Landing Times

    Landing Times显示每个任务实际执行完成时间减去该task定时设置调度的时间,得到的小时数,可以通过这个图看出任务每天执行耗时、延迟情况。

    以上得到的“Landing Times”如下:

    • Gantt

    甘特图,可以通过甘特图来分析task执行持续时间和重叠情况,可以直观看出哪些task执行时间长。

    • Details

    可以通过“Details”发现任务详细情况。

    • Code

    Code页面主要显示当前DAG python代码编码,当前DAG如何运行以及任务依赖关系、执行成功失败做什么,都可以在代码中进行定义。

    2. ​​​​​​​Security

    “Security”涉及到Airflow中用户、用户角色、用户状态、权限等配置。

    ​​​​​​​3. Browse

    • DAG Runs

    显示所有DAG状态

    • Jobs

    显示Airflow中运行的DAG任务

    • Audit Logs

    审计日志,查看所有DAG下面对应的task的日志,并且包含检索。

    • Task Instances

    查看每个task实例执行情况。

    • Task Reschedules

    Task 重新调度的实例情况。

    • SLA Misses

    如果有一个或者多个实例未成功,则会发送报警电子邮件,此选项页面记录这些事件。

    • DAG Dependencies

    查看DAG任务对应依赖关系。

    ​​​​​​​4. Admin

    在Admin标签下可以定义Airflow变量、配置Airflow、配置外部连接等。

    ​​​​​​​5. Docs

    Docs中是关于用户使用Airflow的一些官方使用说明文档连接。


  • 相关阅读:
    LeetCode50天刷题计划(Day 18—— 搜索旋转排序数组(8.50-12.00)
    2023-9-8 求组合数(三)
    从零开始搭建一个组件库(二)
    阻容感基础知识
    数字电路基础(含半加器、全加器、逻辑化简、卡诺图化简)
    springboot基于web的在线问答社区系统设计与实现毕业设计源码061628
    AI 引擎系列 1 - 从 AI 引擎工具开始(2022.1 更新)
    【Leetcode】二分查找合集
    DOS 命令集合
    【python与数据结构】(leetcode算法预备知识)
  • 原文地址:https://blog.csdn.net/qq_32020645/article/details/134340929
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号