微服務架構 | 3.3 Apache Zookeeper 註冊中心

@

目錄

前言

參考資料：
《Spring Microservices in Action》
《Spring Cloud Alibaba 微服務原理與實戰》
《B站 尚矽谷 SpringCloud 框架開發教程 周陽》
《Zookeeper 教程》
《Zookeeper 官網》

ZooKeeper 是一個分散式的，開放源碼的分散式應用程式協調服務，是 Google 的 Chubby 一個開源的實現，是 Hadoop 和 Hbase 的重要組件。它是一個為分散式應用提供一致性服務的軟體，提供的功能包括：配置維護、域名服務、分散式同步、組服務等；

1. Zookeeper 基礎知識

1.1 Zookeeper 是什麼

  • Zookeeper 是一個分散式協調工具，可以實現註冊中心功能；
  • 是 Apache Hadoop 的一個子項目，用來解決分散式應用中經常遇到的一些數據管理問題。包括：統一命名服務、狀態同步服務、集群管理、分散式應用配置項的管理等；
  • 簡單來說：zookeeper=文件系統+監聽通知機制；
  • ZooKeeper 的架構通過冗餘服務實現高可用性；
  • 【注意】ZooKeeper 本身並不是註冊中心，只是基於 ZooKeeper 本身的特性可以實現註冊中心這個場景；

1.2 Zookeeper 的數據結構

  • 系統概述：

    • ZooKeeper 的數據模型和分散式文件系統類似，是一種層次化的屬性結構；
    • 和文件系統不同的是，ZooKeeper 的數據是結構化存儲的，並沒有在物理上體現出文件和目錄；
    • ZooKeeper 上的每個節點的數據都是允許讀和寫，且必須要按照層級創建；

  • Znode 節點：

    • Zookeeper 中的所有存儲的數據是由 Znode 組成，並以 key/value 形式存儲數據；
    • ZooKeeper 只是管理和協調有關的數據，所以 value 的數據大小不建議設置得非常大，較大的數據會帶來更大的網路開銷；
    • Znode 維護一個 stat 狀態資訊，其中包含數據變化的時間和版本等；

  • stat 狀態資訊：

    屬性 說明
    cZxid 創建節點時的事務 ID
    ctime 創建節點時的時間
    mZxid 最後修改節點時的事務 ID
    mtime 最後修改節點時的時間
    pZxid 表示該節點的子節點列表最後一次修改的事務 ID（包括增刪子節點，不包括改子節點內容）
    cversion 子節點版本號，子節點每次修改版本號加 1
    dataversion 數據版本號，數據每次修改該版本號加 1
    aclversion 許可權版本號，許可權每次修改該版本號加 1
    ephemeralOwner 創建該臨時節點的會話的 sessionID（持久節點，該屬性值為 0）
    dataLength 該節點的數據長度
    numChildren 該節點擁有直接子節點的數量

  • Znode 的節點類型：

    • 持久化節點：節點的數據會持久化到磁碟；
    • 臨時節點：節點的生命周期和創建該節點的客戶端的生命周期保持一致。客戶端會話結束，則該臨時節點刪除；
    • 有序節點：在創建的節點後增加一個遞增的序列，該序列在同一級父節點之下是唯一的；
    • 容器節點：容器節點下最後一個子節點被刪除時，容器節點自動刪除（3.5.3版本後）；
    • TTL 節點：設置一個存活時間，如果在存活時間之內該節點沒有任何修改並且沒有子節點，則自動刪除（3.5.3版本後）；

  • 一個示例圖：
    Zookeeper 數據結構示例圖

1.3 Watcher 機制

  • 一種針對 Znode 的訂閱/通知機制；
  • 當 Znode 節點狀態發生變化時或者 ZooKeeper 客戶端連接狀態發生變化時，會觸發事件通知；
  • 該機制在服務註冊與發現中，用於服務調用者及時感知到服務提供者的變化；
  • ZooKeeper 提供了三種 JavaAPI 機制進行對 Znode 進行註冊監聽：
    • getData()：用於獲取指定節點的 value 資訊，並且可以註冊監聽，當監聽的節點進行創建、修改、刪除操作時，會觸發相應的事件通知；
    • getChildren()：用於獲取指定節點的所有子節點，並且允許註冊監聽，當監聽節點的子節點進行創建、修改、刪除操作時，觸發相應的事件通知；
    • exists()：用於判斷指定節點是否存在，同樣可以註冊針對指定節點的監聽，監聽的時間類型和 getData() 相同
  • Watcher 事件的觸發都是一次性的，客戶端在發現節點修改後需要在事件回調中再次註冊事件；

1.4 常見應用場景分析

  • 分散式鎖：
    • 排他性：避免在同一時刻多個進程同時訪問某一個共享資源；
    • 基於節點的性質：臨時節點、同級節點的唯一性；
    • 獲得鎖的過程：在獲得排他鎖時，所有客戶端可以去 ZooKeeper 伺服器上 /Exclusive_Locks 節點下創建一個臨時節點 /lock。只有一個客戶端能創建成功；
    • 釋放鎖的過程：有兩種情況：
      • 獲得鎖的客戶端因為異常斷開了和服務端的連接，基於臨時節點的特性，/lock 節點會被自動刪除；
      • 獲得鎖的客戶端執行完業務邏輯之後，主動刪除了創建的 /lock 節點；
  • Master 選舉：
    • 當集群機器中有一個機器宕機後，其他機器會接替故障機器繼續工作；
    • 基於節點的性質有兩種實現方式：
      • 唯一性：類似分散式鎖。在 ZooKeeper 伺服器上創建一個臨時節點 /master-election，只有成功創建的機器工作。其他機器針對該節點註冊 Watcher 事件；
      • 臨時有序節點：所有參與選舉的客戶端在 ZooKeeper 伺服器的 /master 節點下創建一個臨時有序節點，編號最小的節點表示 Master，後續的節點可以監聽前一個節點的刪除事件，用於觸發重新選舉。如下圖所示：

基於臨時有序節點的 Master 選舉

1.5 Zookeeper 的版本衝突問題

  • Zookeeper 的依賴如下：
<dependency>
  <groupId>org.springframework.cloud</groupId>
  <artifactId>spring-cloud-starter-zookeeper-discovery</artifactId>
</dependency>
  • 如果我們直接添加這個依賴可能會出現以下問題，出現以下日誌資訊是說明出現 Zookeeper 版本衝突問題：

Zookeeper 的版本衝突問題

  • 原因是：上述依賴自帶 3.5.3beta 的版本，與本地的下載的 zookeeper 版本對應不上；
  • 可以通過修改 pom.xml 文件解決；
  • 修改後的示例請見本篇《2.1 引入 pom.xml 依賴》；

1.6 Zookeeper 註冊中心的實現原理

本篇或《12.1 使用 Apache Dubbo 實現遠程通訊》里的《5. Dubbo 使用 Zookeeper 作為註冊中心》構建了如下示例；

Zookeeper 註冊中心的實現原理

  • 當 Dubbo 服務啟動時：
    • 在 Zookeeper 伺服器上的 /dubbo/com.dlhjw.dubbo.service.impl.TestServiceImpl/providers 目錄下創建當前服務的 URL；
    • com.dlhjw.dubbo.service.impl.TestServiceImpl 表示發布服務的介面全路徑名稱；
    • providers 表示服務提供者的類型；
    • dubbo://ip:port 表示該服務發布的協議類型及訪問地址；
    • URL 是臨時節點，其他皆為持久化節點；
  • 當 Dubbo 服務消費者啟動時：
    • 對 /dubbo/com.dlhjw.dubbo.service.impl.TestServiceImpl/providers 目錄下子節點註冊 Watcher 監聽；
    • 服務消費者會在 /dubbo/com.dlhjw.dubbo.service.impl.TestServiceImpl/consumers 目錄下寫入自己的 URL；
    • 服務消費者如果需要調用 TestServiceImpl 服務，它會先去 /dubbo/com.dlhjw.dubbo.service.impl.TestServiceImpl/providers 路徑下獲得所有該服務的提供方 URL 列表，然後通過負載均衡演算法計算出一個地址進遠程訪問；

1.7 下面示例的相關說明

  • 客戶端（在這裡體現不出來）調用服務消費者的 //consumer/zk 介面，請求消費者的資源；
  • 接著服務消費者通過負載均衡演算法調用 //zkcloud-provider/provider/zk 介面，請求服務提供者的資源；

2. 安裝並運行 Zookeeper 伺服器

基於 Win10 下的 Zookeeper 伺服器安裝；

2.1 下載 Zookeeper

Zookeeper 解壓

2.2 修改配置

  • 到 apache-zookeeper-3.7.0-bin\apache-zookeeper-3.7.0-bin\conf 目錄下，備份一份 zoo_sample.cfg 配置文件；

修改 Zookeeper 配置

  • tickTime：Zookeeper 伺服器之間或客戶端與伺服器之間維持心跳的時間間隔，也就是每隔 tickTime 時間就會發送一個心跳；
  • dataDir：Zookeeper 保存數據的目錄，默認情況下，Zookeeper 將寫數據的日誌文件也保存在這個目錄里；
  • dataLogDir：Zookeeper 保存日誌文件的目錄；
  • clientPort：客戶端連接 Zookeeper 伺服器的埠，Zookeeper 會監聽這個埠，接受客戶端的訪問請求；
  • 注意：查看 bin 目錄下的 zkEvn.cmd 里的 JAVA_HOME 名字對不對；

2.3 運行 Zookeeper 伺服器

  • 到 bin 目錄下：
    • 雙擊 zkServer.cmd，會啟動一個 java 進程，即服務端；
    • 雙擊 zkCli.cmd，會啟動一個客戶端 ；

Zookeeper 伺服器

3. 使用 Zookeeper 管理服務提供者

使用 Zookeeper 構建服務提供者大致與 Nacos 和 Consul 相同； Nacos 與 Consul 的構建方式詳情請見《3.2 Alibaba Nacos 註冊中心》與《3.4 HashiCorp Consul 註冊中心》；

3.1 引入 pom.xml 依賴

<!-- SpringBoot整合zookeeper客戶端 -->
<dependency>
  <groupId>org.springframework.cloud</groupId>
  <artifactId>spring-cloud-starter-zookeeper-discovery</artifactId>
  <!--先排除自帶的zookeeper-->
  <exclusions>
    <exclusion>
      <groupId>org.apache.zookeeper</groupId>
      <artifactId>zookeeper</artifactId>
    </exclusion>
  </exclusions>
</dependency>
<!--添加zookeeper3.4.9版本，這裡可根據自己本地的下載的 zookeeper 版本進行配置-->
<dependency>
  <groupId>org.apache.zookeeper</groupId>
  <artifactId>zookeeper</artifactId>
  <version>3.4.9</version>
</dependency>
  • Spring 管理的依賴自帶 3.5.3beta 版本，與本地的下載的 zookeeper 版本對應不上，可以通過修改 pom 文件解決；

3.2 修改 boostrap.yml 配置文件

#8004表示註冊到zookeeper伺服器的支付服務提供者埠號
server:
  port: 8004
#服務別名----註冊zookeeper到註冊中心名稱
spring:
  application:
    name: zkcloud-provider
  cloud:
    zookeeper:
      connect-string: 192.168.111.144:2181

3.3 在主啟動類上添加註解

  • @EnableDiscoveryClient：使用其他組件（Nacos、zookeeper、Consul）作為註冊中心；

3.4 編寫業務類，並在 controller 層開放介面

這裡編寫一個簡單介面僅作為示例；

@RestController
public class providerController{
    @Value("${server.port}")
    private String serverPort;

    @RequestMapping(value = "/provider/zk")
    public String providerzk(){
        return "springcloud with zookeeper: "+serverPort+"\t"+ UUID.randomUUID().toString();
    }
}

4. 使用 Zookeeper 管理服務消費者

使用 Zookeeper 構建服務消費者大致與 Nacos 和 Consul 相同； Nacos 與 Consul 的構建方式詳情請見《3.2 Alibaba Nacos 註冊中心》與《3.4 HashiCorp Consul 註冊中心》；

4.1 引入 pom.xml 依賴

同服務提供者端的依賴；

<!-- SpringBoot整合zookeeper客戶端 -->
<dependency>
  <groupId>org.springframework.cloud</groupId>
  <artifactId>spring-cloud-starter-zookeeper-discovery</artifactId>
  <!--先排除自帶的zookeeper-->
  <exclusions>
    <exclusion>
      <groupId>org.apache.zookeeper</groupId>
      <artifactId>zookeeper</artifactId>
    </exclusion>
  </exclusions>
</dependency>
<!--添加zookeeper3.4.9版本-->
<dependency>
  <groupId>org.apache.zookeeper</groupId>
  <artifactId>zookeeper</artifactId>
  <version>3.4.9</version>
</dependency>

4.2 修改 boostrap.yml 配置文件

server:
  port: 80
spring:
  application:
    name: zkcloud-consumer
  cloud:
  #註冊到zookeeper地址
    zookeeper:
      connect-string: 192.168.111.144:2181

4.3 主啟動類上不需要添加額外註解

4.4 編寫業務類，調用提供者介面

  • 由於我們使用 Ribbon + RestTemplate 的負載均衡策略，因此需要在 IoC 容器中添加一個 RestTemplate JavaBean；
  • 詳情請見《4.1 基於 Ribbon 的負載均衡詳解》；
  • 該 Bean 可以在主啟動類中添加；也可以在主啟動類所在包或子包的 config 包中添加，如下：
@Configuration
public class ApplicationContextBean{
    @Bean
    @LoadBalanced
    public RestTemplate getRestTemplate(){
        return new RestTemplate();
    }
}
  • 我們在 controller 層開放介面給客戶端，並在該介面里調用提供者的 API；
@RestController
public class ComsumerZKController{
    public static final String INVOKE_URL = "//zkcloud-provider";

    @Autowired
    private RestTemplate restTemplate;

    @RequestMapping(value = "/consumer/zk")
    public String paymentInfo(){
        String result = restTemplate.getForObject(INVOKE_URL+"/provider/zk", String.class);
        System.out.println("消費者調用提供者獲取服務--->result:" + result);
        return result;
    }
}

5. Dubbo 使用 Zookeeper 作為註冊中心

  • 詳情請見：本系列另外一篇文章《12.1 使用 Apache Dubbo 實現遠程通訊》里的《5. Dubbo 使用 Zookeeper 作為註冊中心》；

最後

新人製作，如有錯誤，歡迎指出，感激不盡！
歡迎關注公眾號，會分享一些更日常的東西！
如需轉載，請標註出處！

Tags:

VirMach 便宜 VPS

QNews

QNews