Tomcat+Filebeat+logstash+ES+Kibana日志监控配置(待续)

整个数据流程大致原理如图：

1, ES集群安装

请参考：Elasticsearch8.4.0集群安装(ELK安装part1)_yangkei的博客-CSDN博客

2，Kibana安装

请参考：Kibana8.4在Linux系统上的安装(ELK安装part3)_yangkei的博客-CSDN博客

3，Tomcat配置

Tomcat的安装部分很简单，请参考网上文档。

下面介绍Tomcat特殊配置部分

设置Tomcat Json日志格式输出：

vi /app/tomcat/conf/server.xml

       
       
               prefix="tomcat_access_json" suffix=".log"
               pattern="{"clientip":"%h","ClientUser":"%l","authenticated":"%u","AccessTime":"%t","method":"%r","status":"%s","SendBytes":"%b","Query?string":"%q","partner":"%{Referer}i","AgentVersion":"%{User-Agent}i"}"/>

网上也有另外一版修改方式，待验证：

       
               prefix="localhost_access_log" suffix=".txt"
               pattern="{"clientip":"%h","ClientUser":"%l","authenticated":"%u","AccessTime":"%t","method":"%r","status":"%s","SendBytes":"%b","Query?string":"%q","partner":"%{Referer}i","AgentVersion":"%{User-Agent}i"}"/>

重启Tomcat, 检查日志输出：

通过JSONLint网站核对日志Json格式是否正确。

JSON Online Validator and Formatter - JSON Lint

4，Filebeat安装

具体安装步骤可以参考elastic官网指导。

Filebeat overview | Filebeat Reference [8.4] | Elastic

下载介质

[es@goya1 install]$ curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.4.0-linux-x86_64.tar.gz
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 57.8M  100 57.8M    0     0  4642k      0  0:00:12  0:00:12 --:--:-- 5313k

解压到对应目录 

 ​

 创建tomcat-log.yml配置文件

vi ​/app/filebeat/tomcat-log.yml 

filebeat.inputs:
        - type: log
          enabled: true
          paths:
            - /app/tomcat/logs/tomcat_access_json.*.log
          json.key_under_root: true
          json.overwrite_keys: true
          tags: ["tomcat"]

setup.kibana:
  host: "192.168.88.5:5601"
output.elasticsearch:
  hosts: ["192.168.88.5:9200","192.168.88.7:9200","192.168.88.9:9200"]
  indices:
    - index: "access-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "access"
    - index: "error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "error"
    - index: "tomcat-access-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "tomcat"

启动filebeat

[es@goya1 filebeat]$ ./filebeat -e -c tomcat-log.yml

Headmaster里验证：

通过上图的ID去Kibana里去查看：

创建一个新的数据视图名为“tomcat-filebeat-es-kibana”

 展开此视图，通过_ID字段去查找

说明通过Kibana也能看到对应的在ES里存储的Tomcat运行日志。