Docker部署ElasticSearch集群

2021 年 1 月 16 日
筆記

1.前言

為什麼要用ElasticSearch？我們的應用經常需要添加檢索功能，開源的Elastic Search是目前全文檢索引擎的首選。它可以快速的存儲、搜索和分析海量數據。ElasticSearch是一個分散式搜索框架，提供RestfulAPI，底層基於Lucene，採用多shard（分片）的方式保證數據安全，並且提供自動resharding的功能。
Elasticsearch: 權威指南(中文)：//www.elastic.co/guide/cn/elasticsearch/guide/current/index.html

2.拉取ElasticSearch鏡像

在centos窗口中，執行如下命令：

docker pull elasticsearch:5.6.8

當前ES鏡像版本資訊：

 {
  "name" : "WlwFyqU",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "78UDZtviQqiWmzmenGpSrQ",
  "version" : {
    "number" : "5.6.8",
    "build_hash" : "cfe3d9f",
    "build_date" : "2018-09-10T20:12:43.732Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.1"
  },
  "tagline" : "You Know, for Search"
 }

3.創建數據掛在目錄，以及配置ElasticSearch集群配置文件

3.1.創建數據文件掛載目錄,並開放通訊埠

在centos窗口中，執行如下操作：

[root@localhost soft]# pwd
/root/soft
[root@localhost soft]# mkdir -p ES/config
[root@localhost soft]# cd  ES 
[root@localhost ES]# mkdir data1
[root@localhost ES]# mkdir data2
[root@localhost ES]# mkdir data3
[root@localhost ES]# cd ES/config/
[root@localhost ES]# firewall-cmd --add-port=9300/tcp
success
[root@localhost ES]# firewall-cmd --add-port=9301/tcp
success
[root@localhost ES]# firewall-cmd --add-port=9302/tcp
success

註：如果ELK選的6.X版本的,且非管理員，那麼讀者需將data1 data2 data3 開啟777許可權=> chmod 777 data1 data2 data3

3.2.創建ElasticSearch配置文件

在centos窗口中，使用vim命令分別創建如下文件：es1.yml,es2.yml,es3.yml

es1.yml

cluster.name: my-elasticsearch
node.name: es-node1
network.bind_host: 0.0.0.0
network.publish_host: 192.168.70.129
http.port: 9200
transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.70.129:9300","192.168.70.129:9301","192.168.70.129:9302"]
discovery.zen.minimum_master_nodes: 2

es2.yml

cluster.name: my-elasticsearch
node.name: es-node2
network.bind_host: 0.0.0.0
network.publish_host: 192.168.70.129
http.port: 9201
transport.tcp.port: 9301
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.70.129:9300","192.168.70.129:9301","192.168.70.129:9302"]
discovery.zen.minimum_master_nodes: 2

es3.yml

cluster.name: my-elasticsearch
node.name: es-node3
network.bind_host: 0.0.0.0
network.publish_host: 192.168.70.129
http.port: 9202
transport.tcp.port: 9302
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.70.129:9300","192.168.70.129:9301","192.168.70.129:9302"]
discovery.zen.minimum_master_nodes: 2

註：本機虛擬機ip：192.168.70.129 讀者請自行更改

3.3.調高JVM執行緒數限制數量

在centos窗口中，修改配置sysctl.conf

vim /etc/sysctl.conf

加入如下內容：

vm.max_map_count=262144

啟用配置：

sysctl -p

註：這一步是為了防止啟動容器時，報出如下錯誤：
bootstrap checks failed max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

4.啟動ElasticSearch集群容器

啟動ElasticSearch集群容器
在centos窗口中，執行如下命令：

docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9200:9200 -p 9300:9300 -v /root/soft/ES/config/es1.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /root/soft/ES/data1:/usr/share/elasticsearch/data --name ES01 elasticsearch:5.6.8
 
docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9201:9201 -p 9301:9301 -v /root/soft/ES/config/es2.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /root/soft/ES/data2:/usr/share/elasticsearch/data --name ES02 elasticsearch:5.6.8

docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9202:9202 -p 9302:9302 -v /root/soft/ES/config/es3.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /root/soft/ES/data3:/usr/share/elasticsearch/data --name ES03 elasticsearch:5.6.8

註：設置-e ES_JAVA_OPTS=”-Xms256m -Xmx256m” 是因為/etc/elasticsearch/jvm.options 默認jvm最大最小記憶體是2G，讀者啟動容器後可用docker stats命令查看

5.驗證是否搭建成功

在瀏覽器地址欄訪問//192.168.70.129:9200/_cat/nodes?pretty 查看節點狀態

註：節點名稱帶表示為主節點*

6.ElasticSearch配置文件說明

cluster.name: my-elasticsearch
node.name: es-node1
network.bind_host: 0.0.0.0
network.publish_host: 192.168.70.129
http.port: 9200
transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.70.129:9300","192.168.70.129:9301","192.168.70.129:9302"]
discovery.zen.minimum_master_nodes: 2

參數說明:

cluster.name：用於唯一標識一個集群，不同的集群，其 cluster.name 不同，集群名字相同的所有節點自動組成一個集群。如果不配置改屬性，默認值是：elasticsearch。
node.name：節點名，默認隨機指定一個name列表中名字。集群中node名字不能重複
index.number_of_shards: 默認的配置是把索引分為5個分片
index.number_of_replicas:設置每個index的默認的冗餘備份的分片數，默認是1
network.bind_host: 設置可以訪問的ip,可以是ipv4或ipv6的，默認為0.0.0.0，這裡全部設置通過
network.publish_host:設置其它結點和該結點交互的ip地址，如果不設置它會自動判斷，值必須是個真實的ip地址
http.port:設置對外服務的http埠，默認為9200
transport.tcp.port: 設置節點之間交互的tcp埠，默認是9300
http.cors.enabled: 是否允許跨域REST請求
http.cors.allow-origin: 允許 REST 請求來自何處
node.master: true 配置該結點有資格被選舉為主結點（候選主結點），用於處理請求和管理集群。如果結點沒有資格成為主結點，那麼該結點永遠不可能成為主結點；如果結點有資格成為主結點，只有在被其他候選主結點認可和被選舉為主結點之後，才真正成為主結點。
node.data: true 配置該結點是數據結點，用於保存數據，執行數據相關的操作（CRUD，Aggregation）；
discovery.zen.minimum_master_nodes: //自動發現master節點的最小數，如果這個集群中配置進來的master節點少於這個數目，es的日誌會一直報master節點數目不足。（默認為1）為了避免腦裂，個數請遵從該公式 => (totalnumber of master-eligible nodes / 2 + 1)。 * 腦裂是指在主備切換時，由於切換不徹底或其他原因，導致客戶端和Slave誤以為出現兩個active master，最終使得整個集群處於混亂狀態*
discovery.zen.ping.unicast.hosts： 集群個節點IP地址，也可以使用es-node等名稱，需要各節點能夠解析

附錄：

1.查看容器記憶體

docker stats $(docker ps --format={{.Names}})

2.查看容器日誌

docker logs 容器名/容器ID

Docker部署ElasticSearch集群

1.前言

2.拉取ElasticSearch鏡像

3.創建數據掛在目錄，以及配置ElasticSearch集群配置文件

3.1.創建數據文件掛載目錄,並開放通訊埠

3.2.創建ElasticSearch配置文件

3.3.調高JVM執行緒數限制數量

4.啟動ElasticSearch集群容器

5.驗證是否搭建成功

6.ElasticSearch配置文件說明

VirMach 便宜 VPS

QNews

Docker部署ElasticSearch集群

1.前言

2.拉取ElasticSearch鏡像

3.創建數據掛在目錄，以及配置ElasticSearch集群配置文件

3.1.創建數據文件掛載目錄,並開放通訊埠

3.2.創建ElasticSearch配置文件

3.3.調高JVM執行緒數限制數量

4.啟動ElasticSearch集群容器

5.驗證是否搭建成功

6.ElasticSearch配置文件說明

分享此文：

Related Posts

Apollo 中配置String、Map和List和默認值

Python多任務之進程

手寫call、apply、bind

2020年太不平凡！成為最特別的三個年份之一

VirMach 便宜 VPS

QNews

熱門搜尋