Elasticsearch（ES）的滚动搜索与批量操作
- 2021 年 9 月 22 日
- 笔记
- elasticsearch, ES, 分布式, 搜索引擎
1. 概述
今天我们来聊一下Elasticsearch（ES）的滚动搜索与批量操作。
2. Elasticsearch（ES）的滚动搜索
2.1 概述
滚动搜索我们经常能够用到，例如：推荐列表，此类列表通常不需要分页，而是一直上滑刷新。
滚动搜索的原理是根据固定的排序规则先加载一部分数据，当用户再刷新时，从上次加载的最后一条数据的位置再加载同样数量的数据，下一次刷新同理。
2.2 第一次搜索请求
第一次搜索的请求比较特殊，与之后的搜索请求的url和参数不同。
参数中的 scroll=1m，是指滚动搜索的下一次搜索，必须在1分钟之内。
size是每次滚动显示的条数。
POST //192.168.1.8:9200/index_user/_search?scroll=1m
参数：
{ "query": { "match_all": {} }, "sort": [ { "age": "desc" } ], "size": 1 }
响应：
{ "_scroll_id": "FGluY2x1ZGVfY29udGV4dF91dWlkDnF1ZXJ5VGhlbkZldGNoBRZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAHAWejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAHEWejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAG8WejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAG0WejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAG4WejhoNTc2clNScU9NWlpHQ3A4VXJGUQ==",
"took": 7, "timed_out": false, "_shards": { "total": 5, "successful": 5, "skipped": 0, "failed": 0 }, "hits": { "total": { "value": 3, "relation": "eq" }, "max_score": null, "hits": [ { "_index": "index_user", "_type": "_doc", "_id": "2", "_score": null, "_source": { "user_id": "2", "name": "夏维尔", "login_name": "xwe", "age": 28, "birthday": "1992-06-06", "desc": "我是一名高级开发经理，每天坐地铁上班，在北京住，从不堵车", "head_url": "//www.zhuifengren.cn/img/xwe.jpg" }, "sort": [ 28 ] } ] } }
2.3 之后的搜索
参数中 scroll_id 是第一次搜索返回的。
POST //192.168.1.8:9200/_search/scroll
参数：
{ "scroll_id": "FGluY2x1ZGVfY29udGV4dF91dWlkDnF1ZXJ5VGhlbkZldGNoBRZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAHAWejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAHEWejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAG8WejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAG0WejhoNTc2clNScU9NWlpHQ3A4VXJGURZhVFFQSDRqeVJQZXlNZ2U1VXFyaHZBAAAAAAAAAG4WejhoNTc2clNScU9NWlpHQ3A4VXJGUQ==", "scroll":"1m" }
响应：
{ "_scroll_id": "FGluY2x1ZGVfY29udGV4dF91dWlkDnF1ZXJ5VGhlbkZldGNoBRYxMDBJOHhrUFJwdUdkUHJpbE52VjlBAAAAAAAAAG8WejhoNTc2clNScU9NWlpHQ3A4VXJGURYxMDBJOHhrUFJwdUdkUHJpbE52VjlBAAAAAAAAAHEWejhoNTc2clNScU9NWlpHQ3A4VXJGURYxMDBJOHhrUFJwdUdkUHJpbE52VjlBAAAAAAAAAHIWejhoNTc2clNScU9NWlpHQ3A4VXJGURYxMDBJOHhrUFJwdUdkUHJpbE52VjlBAAAAAAAAAHAWejhoNTc2clNScU9NWlpHQ3A4VXJGURYxMDBJOHhrUFJwdUdkUHJpbE52VjlBAAAAAAAAAG4WejhoNTc2clNScU9NWlpHQ3A4VXJGUQ==", "took": 12, "timed_out": false, "_shards": { "total": 5, "successful": 5, "skipped": 0, "failed": 0 }, "hits": { "total": { "value": 6, "relation": "eq" }, "max_score": null, "hits": [ { "_index": "index_user", "_type": "_doc", "_id": "1", "_score": null, "_source": { "user_id": "1", "name": "僵尸猎手", "login_name": "jsls", "age": 25, "birthday": "1990-03-01", "desc": "我是一名房产经纪人，现在转行了，目前是一名运输工人", "head_url": "//www.zhuifengren.cn/img/jsls.jpg" }, "sort": [ 25 ] } ] } }
3. Elasticsearch（ES）的文档批量操作
3.1 批量依据ID查询文档
POST //192.168.1.8:9200/index_user/_doc/_mget
参数：
{ "ids":["1", "3"] }
3.2 批量新增文档1
注意：参数的最后一行，需要以回车（’\n’）结尾。
其中一条报错，不会影响其他数据正常执行。
如果新增数据的id已存在会报错。
POST //192.168.1.8:9200/_bulk
参数：
{"create":{"_index":"index_user", "_type":"_doc", "_id": "5"}}
{"user_id":"5", "name":"姓名5"}
{"create":{"_index":"index_user", "_type":"_doc", "_id": "6"}}
{"user_id":"6", "name":"姓名6"}
{"create":{"_index":"index_user", "_type":"_doc", "_id": "7"}}
{"user_id":"6", "name":"姓名7"}
3.3 批量新增文档2
批量新增文档的第二种写法。
POST //192.168.1.8:9200/index_user/_doc/_bulk
参数：
{"create":{"_id": "5"}}
{"user_id":"5", "name":"姓名5"}
{"create":{"_id": "6"}}
{"user_id":"6", "name":"姓名6"}
{"create":{"_id": "7"}}
{"user_id":"6", "name":"姓名7"}
3.4 批量新增或更新文档
当id不存在，会新增文档，id已存在，会更新文档。
POST //192.168.1.8:9200/index_user/_doc/_bulk
参数：
{"index":{"_id": "5"}}
{"user_id":"5", "name":"姓名5_1"}
{"index":{"_id": "6"}}
{"user_id":"6", "name":"姓名6_1"}
{"index":{"_id": "8"}}
{"user_id":"8", "name":"姓名8_1"}
3.5 批量局部更新文档
当id不存在，会报错。
POST //192.168.1.8:9200/index_user/_doc/_bulk
参数：
{"update":{"_id": "5"}}
{"doc": {"user_id":"5", "name":"姓名5_2"}}
{"update":{"_id": "6"}}
{"doc": {"user_id":"6", "name":"姓名6_2"}}
{"update":{"_id": "9"}}
{"doc": {"user_id":"9", "name":"姓名9_1"}}
3.6 批量删除文档
POST //192.168.1.8:9200/index_user/_doc/_bulk
参数：
{"delete":{"_id": "5"}}
{"delete":{"_id": "6"}}
3.7 其他说明
批量新增、更新、删除的操作，可以在一次请求完成。
每次批量新增、更新、删除的请求，请求体不宜过大，控制在1000条之内。
4. 综述
今天简单聊了一下 Elasticsearch（ES）的滚动搜索与批量操作，希望可以对大家的工作有所帮助。
欢迎帮忙点赞、评论、加关注 ：）
关注追风人聊Java，每天更新Java干货。
scroll_id
