• IT运维:使用数据分析平台监控奇安信


    监控目标

    本文基于鸿鹄2.10.0版本。


    ●监控奇安信日志类型分布
    ●监控奇安信攻击行为、分析攻击类型
    ●监控奇安信攻击来源情况

    操作步骤

    数据导入

    1、创建数据集,如使用已经存在的数据集,可跳过此步骤

    数据集名称:qax_syslog(仪表板中使用的名称,如更改为其他,需要在导入仪表板后调整SQL语句中的数据集)

    图片

    2、创建数据源类型,如使用已经存在的数据集,可跳过此步骤

    数据源类型:qax_syslog

    TIPs:数据源类型用于对具有统一类型属性的数据进行集合处理。鸿鹄提供了多种内置的数据源类型,例如syslog, json, csv等。如果您的数据处理需要配置自定义的字段抽取规则,建议先创建新的数据源类型,再将字段抽取规则绑定到相应的数据源类型。

    图片

    3、配置vector.toml。vector安装参考[vector安装](https://vector.dev/docs/setup/quickstart/#install-vector)

    ._datatype = "qax_syslog" 数据源类型名称

    ._target_table = "qax_syslog" 数据集名称

    address = "172.16.1.5:20000"

    图片

    字段抽取

    字段抽取这里用到的就是读时建模。数据以原始数据进入鸿鹄鸿鹄平台,在需要分析时,进行数据建模。

    日志分析

    在字段抽取前,我们需要先查看下原始日志,对其进行分析

    图片

    通过查询可以看到原始日志格式如下

    图片

    对其进行分析发现日志由两个部分组成,那么我们需要先通过正则将两个部分分开,再对第一部分采用正则抽取,第二部分采用json抽取。

    第一部分

    图片

    第二部分

    图片

    TIPS:如何验证json格式,可以在线网站验证[Json在线验证](https://www.bejson.com/explore/index_new/)

    字段抽取

    抽取新字段

    图片

    选择目标数据类型,选择样例事件

    图片

    新建抽取规则>编辑正则表达式

    图片

    可以看到我们将两部分日志分离,第二部分为json_content

    图片

    继续新建抽取规则>选中json_content>选择JSON抽取

    图片

    预览并保存,完成抽取

    图片

    仪表板

    导入奇安信仪表板。新建仪表板>选择仪表板配置文件>确定

    奇安信日志分为3类,webids-ids_dolog、alarm、webids-webattack_dolog,这里使用了钻取,点击奇安信日志类型分布,下面的所有图表会根据日志类型自动适配。

    效果如下:

    图片

    图片

    奇安信仪表板.json(12 kB)

    (具体文档请加入鸿鹄技术交流群,至知识库中获取)

  • 相关阅读:
    Linux:动静态库
    《LeetCode力扣练习》代码随想录——链表(两两交换链表中的节点---Java)
    APS的主要功能有哪些?你了解吗?
    SpringBoot与Loki的那些事
    JDK19新特性使用详解
    牛牛P50591 解的分配问题,高精度组合数
    【新版Bing】集成chatGpt4的搜索引擎
    DFS(分布式文件系统)与 DFSR(分布式文件系统复制)的区别
    C++奇迹之旅:深入思考拷贝构造函数
    【FLASH存储器系列十】Nand Flash芯片使用指导之一
  • 原文地址:https://blog.csdn.net/Yhpdata888/article/details/132814949