UOS服务器操作系统部署EFK

一、EFK简介

Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。

Beats 是数据采集的得力工具。将 Beats 和您的容器一起置于服务器上，或者将 Beats 作为函数加以部署，然后便可在 Elastisearch 中集中处理数据。如果需要更加强大的处理性能，Beats 还能将数据输送到 Logstash 进行转换和解析。

Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等。不仅如此，您还可以使用 Vega 语法来设计独属于您自己的可视化图形。所有这些都利用 Elasticsearch 的完整聚合功能。

Elasticsearch 通常与 Kibana 一起部署，Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard，Kibana 允许你通过 web 界面来浏览 Elasticsearch 日志数据。

二、建单节点ES

1、下载es、kibana、filebeat安装包并解压

下载地址：
https://www.elastic.co/cn/downloads/past-releases#elasticsearch
https://www.elastic.co/cn/downloads/past-releases#filebeat
https://www.elastic.co/cn/downloads/past-releases#kibana
注：三个包的版本必须保持一致

2、创建es普通用户并将es安装包解压

[root@node1 ~]# useradd es
[root@node1 ~]# su - es
[es@node1 ~]$ tar -xzf elasticsearch-7.6.1-linux-x86_64.tar.gz 
1
2
3

3、修改配置文件

[es@node1 ~]$ cd elasticsearch-7.6.1/
[es@node1 elasticsearch-7.6.1]$ vim config/elasticsearch.yml 
1
2

找到如下配置信息进行修改有注释的取消注释

cluster.name: my-application
node.name: node-1
path.data: /var/yoocar/software/elastic/data
path.logs: /var/log/es/
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
1
2
3
4
5
6
7

4、使用root用户添加环境变量

[root@node1 ~]# vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.342.b07-0.up3.uelc20.01.x86_64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
[root@node1 ~]# source /etc/profile
[root@node1 ~]# vim /etc/sysctl.conf 
vm.max_map_count=262144
[root@node1 ~]# sysctl -p
vm.dirty_ratio = 50
net.core.busy_read = 100
vm.max_map_count = 262144
[root@node1 ~]# vim /etc/security/limits.conf 
* soft nofile 65536
* hard nofile 65536

[root@node1 ~]# ln -s /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.342.b07-0.up3.uelc20.01.x86_64/jre/bin /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.342.b07-0.up3.uelc20.01.x86_64/
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

5、启动es

[es@node1 elasticsearch-7.6.1]$ ./bin/elasticsearch -d 
1

注:此处需要使用es用户进行启动,这里使用的启动方式是后台启动通过ps aux查看是否启动成功

三、搭建kibana

1、解压安装包

[root@node1 ~]# tar -xzf kibana-7.6.1-linux-x86_64.tar.gz
1

2、修改配文件

 [root@node1 kibana-7.6.1-linux-x86_64]# vim config/kibana.yml 
1

找到如下配置进行修改

server.port: 5601
server.host: "0.0.0.0"
server.name: "node1"
elasticsearch.hosts: ["http://192.168.122.63:9200"]
i18n.locale: "zh-CN"
1
2
3
4
5

3、启动kibana

[root@node1 kibana-7.6.1-linux-x86_64]# ./bin/kibana  --allow-root
1

四、搭建filebeats

1、解压安装包

[root@node1 ~]# tar -xzf filebeat-7.6.1-linux-x86_64.tar.gz 
1

2、修改配置文件

[root@node1 filebeat-7.6.1-linux-x86_64]# vim filebeat.yml 
1

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/yoocar/software/elastic/logs/gc.log.0.current
  multiline.pattern: ^\[
  multiline.negate: true
  multiline.match: after
  multiline.max_lines: 1000
  multiline.timeout: 3s
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
output.elasticsearch:
  # Array of hosts to connect to.
   hosts: ["192.168.122.63:9200"]
   setup.kibana: "192.168.122.63:5601"
   index: "log-%{+yyyy.MM}"
setup.template.name: "filebeat"
setup.template.pattern: "filebeat-*"
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

3、启用system模块

[root@node1 filebeat-7.6.1-linux-x86_64]# ./filebeat modules enable system
1

4、启用filebeat

setup命令加载kibana仪表盘。如果仪表盘设置好了请忽略此步骤
注：此命令需要加载一段时间请耐心等候

[root@node1 filebeat-7.6.1-linux-x86_64]# ./filebeat setup
1

加载完成后使用如下命令

[root@node1 filebeat-7.6.1-linux-x86_64]# ./filebeat -e
1

5、检查数据并查看仪表盘是否生成

使用浏览器访问本机5601端口之后根据如下截图箭头点击即可

五、结果展示