【ElasticSearch应用】

ElasticSearch应用

当前业务查询有一定的实时性要求，但是目前查询较为缓慢；

当前业务查询使用数据库进行查询，数据库表数据量较大，这种大数据量的查询比较耗时；

那么，如何优化当前的业务，达到快速查询的目的；

目前行业内使用es搜索引擎可满足业务需要

如何使用–》

表字段信息如何维护？

创建索引文件、mapping文件维护字段信息；

创建索引：

{
	"settings": {
		"index": {
			"number_of_shards": "5", //分片数
			"number_of_replicas": "1" //副本数
		}
	}
}
1
2
3
4
5
6
7
8

mapping文件模板：

{
	"mappings":	{
		"_all": {
			"norms": "false", //设置不参与搜索结果打分
			"enabled": "false" //_all字段会增加索引时间和索引长度
		},
		"_source": {
			"enabled": "true"//原始文档
		},
		//true：动态映射，动态添加新的字段
		//false：静态映射，忽略新的字段
		//strict：严格模式，如果遇到新的字段会抛出异常
		"dynamic": "strict",
		"properties": {
			"column1": {
				"type": "keyword"//存储数据的时候建立索引，但不分词
			},
			"column2": {
				"type": "date"
			},
			"column3": {
				"type": "text"//存储数据的时候建立索引，同时分词
			},
			"column4": {
				"type": "text",
				"index": "false" //不参与搜索
			}
		}
	}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

数据写入

（1）增量写数据：新增；

（2）删除数据，根据id删除；

（3）部分更新；

疑问：如果有字段信息变化，如何同步？

已有的字段，如果已经有数据写入，不支持修改其数据类型，如果要修改，需要重建索引；
新增字段，没有影响；

重建索引

	根据现有的索引别名，创建新的临时索引别名-》创建新的索引
	-》往新的索引里面写数据
	-》索引替换，将索引别名加到新索引上，并删除老索引
1
2
3

然后呢，重建索引如何处理历史数据？

全量同步+增量同步

（1）历史全量数据

处理方式：全量数据进行分页多线程异步处理；

（2）查询一分钟前到现在有无增量数据，有则处理

数据存储：

索引分片：根据数据量做分片

如何检索数据？

构建查询字段对象

{
	"column1": [
		"all"
	],
	"column2": [
		"all"
	],
	"column3": [
		"8715900737400193117",
		"8715900737400193118",
	],
	"column4": [
		"3"
	],
	"column5": "6979838166774483893"
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

查询方式：

• match：分词匹配

• term：全词匹配，