ES資料庫高可用配置
ES高可用集群部署
1、ES高可用架構圖
2、創建ES用戶組
1.Elasticsearch不能在 root 用戶下啟動，我們需要在三台機器上分創建一個普通用戶# 創建elastic用戶
useradd elastic
設置用戶密碼
passwd elastic
測試伺服器密碼設置的是
abc123!@#
切換到elastic用戶
su elastic
- 分別在三台機器上的 /home/elastic/ 目錄下分別創建data、logs文件夾。
cd /home/elastic/
mkdir data
mkdir logs在生產環境下我們要把Elasticsearch生成的索引文件數據存放到自定義的目錄下
data：存儲Elasticsearch索引文件數據
logs：存儲日誌文件
3．系統設置。
使用root用戶分別在三台伺服器上增加 /etc/sysctl.conf 配置
添加內容為
vm.max_map_count = 655300
接著輸入如下命令讓配置生效：
sysctl -p
解鎖文件限制，增加 /etc/security/limits.conf 配置
* soft nofile 65535
* hard nofile 65535
* soft nofile 65535
* hard nofile 65535
4、配置Elasticsearch
首先我們將下載好的elasticsearch-7.6.2-linux-x86_64.tar.gz壓縮包通過elastic普通用戶，上傳到三台伺服器集群的/home/elastic目錄下，解壓
tar -zxvf elasticsearch-7.9.0-linux-x86_64.tar.gz
如果是root用戶，上傳壓縮包解壓後，需要修改elastic 目錄的擁有者
cd /home/
chown -R elastic elastic
解壓完成後ll查看目錄
su elastic一定要切換用戶，切記！切記！
分別修改elasticsearch.yml配置文件
vi /home/elastic/elasticsearch-7.9.0/config/elasticsearch.yml
cluster.name: data-cluster
node.name: "data-es-05"
#node.data: false
# Indexing & Cache config
index.number_of_shards: 5
index.number_of_replicas: 1
index.cache.field.type: soft
index.cache.field.expire: 10m
index.cache.query.enable: true
indices.cache.query.size: 2%
indices.fielddata.cache.size: 35%
indices.fielddata.cache.expire: 10m
index.search.slowlog.level: INFO
#indices.recovery.max_size_per_sec: 1gb
index.merge.scheduler.max_thread_count: 2 # Only for spinning media.
# Refresh config
index.refresh_interval: 300s
# Translog config
index.translog.flush_threshold_ops: 100000
# Paths config
path.data: /data/esData
path.plugins: /usr/share/elasticsearch/plugins
# Network And HTTP
network.bind_host: 10.0.126.203
network.publish_host: 10.0.126.203
transport.tcp.port: 9300
transport.tcp.compress: true
http.port: 9200
# Discovery
discovery.zen.minimum_master_nodes: 1
discovery.zen.ping.timeout: 10s
discovery.zen.ping.multicast.enabled: false
discovery.zen.ping.unicast.hosts: ["10.0.32.3:9300", "10.0.4.37:9300", "10.0.40.159:9300", "10.0.107.116:9300" , "10.0.126.203:9300"]
配置文件位於%ES_HOME%/config/elasticsearch.yml文件中，用Editplus打開它，你便可以進行配置。
所有的配置都可以使用環境變數，例如：
node.rack: ${RACK_ENV_VAR} 表示環境變數中有一個RACK_ENV_VAR變數。
下面列舉一下elasticsearch的可配置項：
1. 集群名稱，默認為elasticsearch：
cluster.name: elasticsearch
2. 節點名稱，es啟動時會自動創建節點名稱，但你也可進行配置：
node.name: "Franz Kafka"
3. 是否作為主節點，每個節點都可以被配置成為主節點，默認值為true：
node.master: true
4. 是否存儲數據，即存儲索引片段，默認值為true：
node.data: true
master和data同時配置會產生一些奇異的效果：
1) 當master為false，而data為true時，會對該節點產生嚴重負荷；
2) 當master為true，而data為false時，該節點作為一個協調者；
3) 當master為false，data也為false時，該節點就變成了一個負載均衡器。
你可以通過連接//localhost:9200/_cluster/health或者//localhost:9200/_cluster/nodes，或者使用插件//github.com/lukas-vlcek/bigdesk或//mobz.github.com/elasticsearch-head來查看集群狀態。
5. 每個節點都可以定義一些與之關聯的通用屬性，用於後期集群進行碎片分配時的過濾：
node.rack: rack314
6. 默認情況下，多個節點可以在同一個安裝路徑啟動，如果你想讓你的es只啟動一個節點，可以進行如下設置：
node.max_local_storage_nodes: 1
7. 設置一個索引的碎片數量，默認值為5：
index.number_of_shards: 5
8. 設置一個索引可被複制的數量，默認值為1：
index.number_of_replicas: 1
當你想要禁用公布式時，你可以進行如下設置：
index.number_of_shards: 1
index.number_of_replicas: 0
這兩個屬性的設置直接影響集群中索引和搜索操作的執行。假設你有足夠的機器來持有碎片和複製品，那麼可以按如下規則設置這兩個值：
1) 擁有更多的碎片可以提升索引執行能力，並允許通過機器分發一個大型的索引；
2) 擁有更多的複製器能夠提升搜索執行能力以及集群能力。
對於一個索引來說，number_of_shards只能設置一次，而number_of_replicas可以使用索引更新設置API在任何時候被增加或者減少。
ElasticSearch關注載入均衡、遷移、從節點聚集結果等等。可以嘗試多種設計來完成這些功能。
可以連接//localhost:9200/A/_status來檢測索引的狀態。
9. 配置文件所在的位置，即elasticsearch.yml和logging.yml所在的位置：
path.conf: /path/to/conf
10. 分配給當前節點的索引數據所在的位置：
path.data: /path/to/data
可以可選擇的包含一個以上的位置，使得數據在文件級別跨越位置，這樣在創建時就有更多的自由路徑，如：
path.data: /path/to/data1,/path/to/data2
11. 臨時文件位置：
path.work: /path/to/work
12. 日誌文件所在位置：
path.logs: /path/to/logs
13. 插件安裝位置：
path.plugins: /path/to/plugins
14. 插件託管位置，若列表中的某一個插件未安裝，則節點無法啟動：
plugin.mandatory: mapper-attachments,lang-groovy
15. JVM開始交換時，ElasticSearch表現並不好：你需要保障JVM不進行交換，可以將bootstrap.mlockall設置為true禁止交換：
bootstrap.mlockall: true
請確保ES_MIN_MEM和ES_MAX_MEM的值是一樣的，並且能夠為ElasticSearch分配足夠的內在，並為系統操作保留足夠的記憶體。
16. 默認情況下，ElasticSearch使用0.0.0.0地址，並為http傳輸開啟9200-9300埠，為節點到節點的通訊開啟9300-9400埠，也可以自行設置IP地址：
network.bind_host: 192.168.0.1
17. publish_host設置其他節點連接此節點的地址，如果不設置的話，則自動獲取，publish_host的地址必須為真實地址：
network.publish_host: 192.168.0.1
18. bind_host和publish_host可以一起設置：
network.host: 192.168.0.1
19. 可以訂製該節點與其他節點交互的埠：
transport.tcp.port: 9300
20. 節點間交互時，可以設置是否壓縮，轉為為不壓縮：
transport.tcp.compress: true
21. 可以為Http傳輸監聽訂製埠：
http.port: 9200
22. 設置內容的最大長度：
http.max_content_length: 100mb
23. 禁止HTTP
http.enabled: false
24. 網關允許在所有集群重啟後持有集群狀態，集群狀態的變更都會被保存下來，當第一次啟用集群時，可以從網關中讀取到狀態，默認網關類型（也是推薦的）是local：
gateway.type: local
25. 允許在N個節點啟動後恢復過程：
gateway.recover_after_nodes: 1
26. 設置初始化恢復過程的超時時間：
gateway.recover_after_time: 5m
27. 設置該集群中可存在的節點上限：
gateway.expected_nodes: 2
28. 設置一個節點的並發數量，有兩種情況，一種是在初始復甦過程中：
cluster.routing.allocation.node_initial_primaries_recoveries: 4
另一種是在添加、刪除節點及調整時：
cluster.routing.allocation.node_concurrent_recoveries: 2
29. 設置復甦時的吞吐量，默認情況下是無限的：
indices.recovery.max_size_per_sec: 0
30. 設置從對等節點恢復片段時打開的流的數量上限：
indices.recovery.concurrent_streams: 5
31. 設置一個集群中主節點的數量，當多於三個節點時，該值可在2-4之間：
discovery.zen.minimum_master_nodes: 1
32. 設置ping其他節點時的超時時間，網路比較慢時可將該值設大：
discovery.zen.ping.timeout: 3s
//elasticsearch.org/guide/reference/modules/discovery/zen.html上有更多關於discovery的設置。
33. 禁止當前節點發現多個集群節點，默認值為true：
discovery.zen.ping.multicast.enabled: false
34. 設置新節點被啟動時能夠發現的主節點列表（主要用於不同網段機器連接）：
discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]
35.設置是否可以通過正則或者_all刪除或者關閉索引
3、Elasticsearch配置優化
1、skywalking的elastixsearch配置優化
#bulkActions默認1000次請求批量寫入一次改到4000次。
bulkActions: ${SW_STORAGE_ES_BULK_ACTIONS:4000} # Execute the bulk every 1000 requests
#flushInterval每10秒刷新一次堆改為每30秒刷新。
flushInterval: ${SW_STORAGE_ES_FLUSH_INTERVAL:30} # flush the bulk every 10 seconds whatever the number of requests
#concurrentRequests並發請求的數量由2改為4。
concurrentRequests: ${SW_STORAGE_ES_CONCURRENT_REQUESTS:4} # the number of concurrent requests
#metadataQueryMaxSize查詢的最大數量由5000改為8000。
metadataQueryMaxSize: ${SW_STORAGE_ES_QUERY_MAX_SIZE:8000}
2、elasticsearch內置參數優化
index.merge.scheduler.max_thread_count# 索引 merge 最大執行緒數
index.refresh_interval#index 刷新間隔
index.translog.durability# 這個可以非同步寫硬碟，增大寫的速度
index.translog.sync_interval #translog 間隔時間
curl -H "Content-Type: application/json" -u -key elastic:elastic -X PUT '//192.168.40.7:9200/_all/_settings?preserve_existing=true' -d '{
"index.merge.scheduler.max_thread_count" : "1",
"index.refresh_interval" : "30s",
"index.translog.durability" : "async",
"index.translog.sync_interval" : "120s"
}'
3、驗證ES高可用配置
//localhost:9200/_all/_settings
