码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 用KUSTO查询语句(KQL)在Azure Data Explorer Database上查询LOG实战


    目录

    (一)前言

    (二)Azure Data Explorer介绍及应用

    1. 什么是Azure Data Explorer?

    2. 实战案例

    (1)案例背景

    (2)进入Azure Data Explorer主页面

     (3)点击Query

    (4)输入查询的KQL

    (5)导出功能


    (一)前言

           最近公司将一张平时存放在Azure托管实例里的Audit_log表整体迁移到Azure Data Explorer Database来存储。所以本文中我会先整理归纳Azure Data Explorer Database的基本概念,然后将试着用一个简单的例子来实战说明。

    (二)Azure Data Explorer介绍及应用

           公司每天都在生成和存储大量数据。 这些数据可以是非结构化的(例如音频,视频),半结构化的(例如XML,JSON)或结构化的(例如数字,日期,字符串)。 数据专业人员一直在寻找有效的技术来处理大量不同数据。 虽然我们当然可以使用传统的数据仓库,Hadoop,Spark等分析工具来做到这一点,但是在探索和分析数据之前,这将涉及对TB级和PB级数据进行ETL的常规方法。所以,迫切需要一个平台,该平台将使用户能够快速利用和分析各种原始数据,并快速提取数据并获得最佳性能。 让我们使用一个有趣的数据分析服务解决这种情况。

    1. 什么是Azure Data Explorer?

    Azure数据浏览器又名ADX,是一种用于日志,遥测和流数据的快速,高度可扩展和完全托管的数据分析服务。 通过此数据浏览服务,您可以汇总,存储和分析各种数据。 您可以在几秒钟内查询数TB的数据,它允许对各种数据进行快速的即席查询。

    在Azure Data Explorer上的工具以前称为“代号为Kusto”,使用类似SQL的查询语言即Kusto查询语言(KQL)来分析来自IoT设备,应用程序,网站等的快速流动数据。KQL不限于使用功能和数百个运算符例如聚合,过滤等,它还包含内置的机器学习功能,例如聚类,回归等。

    ADX使用SSD存储作为缓存和Azure Blob存储中的持久存储,根据计算和存储之间的隔离原理进行工作。 它是完全托管的“平台即服务(PaaS)”,使用户仅关注其数据和查询。 为了说明ADX的主要优势之一,这里重点强调下一项优势,即时间序列分析:它
    非常方便,并提供大量功能来分析,识别趋势和异常。

    2. 实战案例

    (1)案例背景

    查询公司某关键系统用户的Audit_log,并导入日志(CSV)

    (2)进入Azure Data Explorer主页面

     (3)点击Query

            点击后,看到右侧就是KQL输入的查询区域,可以在里面进行编辑查询

    同时,在中间区域可以像选择数据库以及数据库下属的表一样去查看想查询的对象

    (4)输入查询的KQL

           如下KQL目的在于拉出AuditLogs表的前10000行

    1. AuditLogs
    2. | take 10000

    (5)导出功能

          右击查询结果区域,看到导出功能列表

  • 相关阅读:
    谷歌广告投放需要避免的误区,如何防止谷歌广告账号关联?
    行为型模式-观察者模式
    香港金融科技周VERTU CSO Sophie谈Web3.0的下一个风口 手机虚拟货币移动支付
    嵌入式Linux裸机开发(二)C语言LED驱动
    什么是人工通用智能(AGI)
    【k8s 高级调度--亲和力/反亲和力】
    Linux中mysql安装和启动常见问题
    Ansible最佳实践之委派任务和事实
    【leetcode】【2022/9/11】857. 雇佣 K 名工人的最低成本
    JavaScript中if语句优化和部分语法糖小技巧推荐
  • 原文地址:https://blog.csdn.net/zyypjc/article/details/126142716
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号