Elasticsearch 及其套件的安裝上手
前言
本文主要講解Elasticsearch及其套件Kibana、Logstash的安裝及啟動,還講解如何導入數據用於後續的實驗。
說明:Elasticsearch是基於Java開發的,所以如果是下載Elasticsearch 6.x及之前的版本,需要自己安裝Java環境;如果是7.x版本,會自帶Java環境,無需額外安裝,本次我們安裝的版本是7.11.1。其他套件的安裝,也需要根據相應的版本進行安裝。
Elasticsearch
windows 環境,下載後加壓即可。//artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.11.1-windows-x86_64.zip
mac環境,下載後解壓即可。
curl -L -O //artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.11.1-darwin-x86_64.tar.gz
tar -xzvf elasticsearch-7.11.1-darwin-x86_64.tar.gz
啟動
bin/elasticsearch
單機啟動多實例
elasticsearch -E node.name=node1 -E cluster.name=zxy -E path.data=/data/logs/es/node1_data -d
elasticsearch -E node.name=node2 -E cluster.name=zxy -E path.data=/data/logs/es/node2_data -d
elasticsearch -E node.name=node3 -E cluster.name=zxy -E path.data=/data/logs/es/node3_data -d
訪問
//localhost:9200/
查看插件
bin/elasticsearch-plugin list
安裝插件analysis-icu,後續用於中文分詞
bin/elasticsearch-plugin install analysis-icu
Kibana
Kibana 是一個免費且開放的用戶介面,能夠讓我們對 Elasticsearch 數據進行可視化,並讓我們在 Elastic Stack 中進行導航。我們可以進行各種操作,從跟蹤查詢負載,到理解請求如何流經整個應用,都能輕鬆完成。
windows環境的下載包://artifacts.elastic.co/downloads/kibana/kibana-7.11.1-windows-x86_64.zip
mac環境
curl -L -O //artifacts.elastic.co/downloads/kibana/kibana-7.11.1-darwin-x86_64.tar.gz
tar xzvf kibana-7.11.1-darwin-x86_64.tar.gz
改為中文
修改配置文件 kibana.yml,在最後添加配置如下
i18n.locale: "zh-CN"
啟動
./bin/kibana
訪問
//127.0.0.1:5601/
Logstash
Logstash 是免費且開放的伺服器端數據處理管道,能夠從多個來源採集數據,轉換數據,然後將數據發送到我們最喜歡的「存儲庫」中。
windows環境的下載包://artifacts.elastic.co/downloads/logstash/logstash-7.11.1-linux-x86_64.tar.gz
mac
curl -L -O //artifacts.elastic.co/downloads/logstash/logstash-7.11.1-darwin-x86_64.tar.gz
tar xzvf logstash-7.11.1-darwin-x86_64.tar.gz
啟動
sudo ./bin/logstash -f ./config/logstash.conf
Movielens
MovieLens 是一個推薦系統。它由美國 Minnesota 大學電腦科學與工程學院的 GroupLens 項目組創辦,是一個非商業性質的、以研究為目的的實驗性站點。
下載實驗用的csv數據文件://files.grouplens.org/datasets/movielens/ml-25m.zip
解壓後把數據通過Kinana進行導入,後續做實驗的時候會用到,解壓後的文件主要有links.csv,movies.csv,ratings.csv,tags.csv。
操作路徑:Machine Learning->DataVisualizer 點擊UPLOAD。
注意表頭沒法自動識別,可能變成了「column1,column2,column3」等等,需要自行修改。
參考資料
- //www.elastic.co/guide/en/elastic-stack-get-started/current/get-started-elastic-stack.html
- //www.elastic.co/cn/kibana
- //www.elastic.co/cn/logstash
- //grouplens.org/datasets/movielens/