zookeeper集群及kafka集群搭建
1.zookeeper集群搭建
1.1 上傳安裝包
官網推薦至少3個節點,我們這裡也用三個節點192.169.2.18 192.169.1.82 192.169.1.95
準備好安裝包,zookeeper的默認端口為2181
將安裝包分別上傳到3個節點的指定目錄中 這裡以/home/admin作為說明
運行命令 tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
然後進入到 解壓後的目錄 目錄結構如圖
1.2 編輯配置文件
進到conf 目錄下 運行 cp zoo_sample.cfg zoo.cfg 如圖
運行 vi zoo.cfg 修改如圖
然後保存
說明一下
dataDir是存儲內存中數據庫快照的位置，除非另有說明，否則指向數據庫更新的事務日誌。注意：應該謹慎的選擇日誌存放的位置，使用專用的日誌存儲設備能夠大大提高系統的性能，如果將日誌存儲在比較繁忙的存儲設備上，那麼將會很大程度上影像系統性能
2888是集群的通信端口 3888是集群的選舉端口
1.3創建 myid文件
在上一步的 dataDir指定的目錄下 創建 myid文件 然後寫入指定的數字
數字是對應配置文件中的server.0 server.1 server.2
server.0的ip是192.169.1.95,那麼在 192.169.1.95機器上的dataDir指定的目錄下創建myid文件 寫入0 保存 依次類推 server.1 寫入1 server.2寫入2
1.4啟動zookeeper集群
運行bin目錄下的sh bin/zkServer.sh start 啟動zookeeper
每個節點都要運行
然後運行 sh bin/zkServer.sh status 查詢節點狀態如圖 三個節點的狀態如圖
出現如圖代表集群搭建成功 mode:follower代表從節點 mode:leader代表主節點
1.5命令補充
sh bin/zkServer.sh stop 停止命令
sh bin/zkServer.sh restart 重啟命令
2.Kafka集群搭建
2.1 上傳安裝包
官網推薦3個節點, 我們這裡也用三個節點192.169.2.18 192.169.1.82 192.169.1.95
準備好安裝包, 默認端口是9092
上傳到服務器的指定目錄,以/home/admin做為說明
運行命令 tar -zxvf kafka_2.12-2.8.0.tgz 解壓後的目錄結構為
2.2 編輯配置文件
編輯config目錄下的server.properties vi config/server.properties
然後保存配置文件,每個節點的配置文件都要修改
2.3啟動kafka集群
在每個節點 運行命令 sh bin/kafka-server-start.sh -daemon config/server.properties
會在kafka的解壓目錄出現logs的目錄 tail -f logs/server.log
出現這個即為啟動成功
運行下面的查看topic詳情的命令 有出現信息即可 kafka集群搭建完成
2.4命令補充
停止命令 sh bin/kafka-server-stop.sh
查看topic詳情 sh bin/kafka-topics.sh –describe –zookeeper ip:port,ip:port,ip:port
