Elasticsearch

是一个基于Lucene的实时分布式的搜索与分析引擎，是遵循Apache开源条款的一款开源产品是当前主流的企业级搜索引擎作为一款基于RESTful API的分布式服务ES可以快速地、近乎于准实时的存储、查询、和分析超大数据集、通常被用来作为构建复杂查询特性和需求强大的基础引擎或技术

Lucene全文检索引擎工具包
RESTful API 基于HTTP协议，ES的交互实现都是基于http

场景
日志分析与可视化
信息检索
数据分析

用户–>ALB -->ECS

ES访问方式：基于HTTP协议访问
kibana
API
客户端：通过PHP、python代码访问实例

ES 的HTTP协议请求过程
客户端端 服务端 DNS
三次握手
HTT请求
4次挥手

集群：
主节点：负责管理集群的状态、进行索引的创建和删除、分配和迁移分片等操作。主节点是唯一的，当主节点不可用时，其他节点会重新选举一个新的主节点。
数据节点：是用来存储分片数据的节点。ES将索引分成多个分片，分布在不同的数据节点上，每个节点负责管理和存储一部分分片的数据。数据节点承担了实际的数据存储和检索工作。
协调节点：是将查询请求发送给数据节点，并在数据节点返回结果后进行结果的汇总和排序，然后将结果返回给客户端。协调节点的作用是协调各个数据节点的工作，提高查询的效率。

在一个ES集群中，索引被分为多个分片，每个分片是一个独立的、可被分配到不同节点上的数据单元。每个分片都有自己的副本，用于提高数据的可靠性和可用性。分片和副本的数量可以根据需求进行设置，通常会将它们分配到不同的机房，以确保一旦某个机房宕机，数据不会丢失。

基本概念：
索引（Index）它类似于数据库中的数据库。每个索引可以包含多个文档，并且可以定义不同类型的字段。
类型（Type）：类型是索引内的逻辑分组，它类似于数据库中的表。每个类型都有自己的映射，定义了文档中包含的字段和其数据类型。
文档（Document）：文档是ES中的最小数据单元。它是一个JSON格式的数据对象，类似于数据库中的一行记录。每个文档都有一个唯一的ID，用于标识和检索。
字段（Field）：字段是文档中的数据项，可以是文本、数字、日期等类型。每个字段都有自己的数据类型、分析器和索引选项。

倒排索引是一种用于快速检索的数据结构，倒排索引的建立过程如下：首先，将每个文档拆分成一系列的关键词或词项，然后建立一个词项到文档的映射。对每个关键词，记录包含该关键词的文档列表。倒排索引的结构类似于一个词项-文档倒排表，可以快速地定位包含特定关键词的文档。
倒排索引：搜索引擎使用倒排索引来构建索引，而MySQL使用正排索引。倒排索引是一种将关键词与文档进行映射的数据结构，能够快速定位包含特定关键词的文档。相比之下，正排索引需要遍历整个数据表才能找到匹配的记录。倒排索引的使用能够大大减少搜索时间，提高查询效率。

数据迁移
OSS快照：
logstash：
reindex：
ES-dump工具

https://help.aliyun.com/document_detail/170095.html

迁移方案
https://help.aliyun.com/zh/es/use-cases/select-a-data-migration-solution

filebeat：轻量级采集服务-日志文件
服务器日志文件采集