Knative 實戰：基於 Kafka 實現消息推送

  • 2019 年 10 月 25 日
  • 筆記

1

作者 | 元毅 阿里雲智能事業群高級開發工程師

導讀：當前在 Knative 中已經提供了對 Kafka 事件源的支持，那麼如何基於 Kafka 實現消息推送呢？本文作者將以阿里雲 Kafka 產品為例，給大家解鎖這一新的姿勢。

背景

消息隊列 for Apache Kafka 是阿里雲提供的分佈式、高吞吐、可擴展的消息隊列服務。消息隊列 for Apache Kafka 廣泛用於日誌收集、監控數據聚合、流式數據處理、在線和離線分析等大數據領域，已成為大數據生態中不可或缺的部分。

結合 Knative  中提供了 KafkaSource 事件源的支持， 可以方便的對接 Kafka 消息服務。

另外也可以安裝社區 Kafka 2.0.0 及以上版本使用。

在阿里雲上創建 Kafka 實例

創建 Kafka 實例

登錄消息隊列 Kafka 控制台, 選擇【購買實例】。由於當前 Knative 中 Kafka 事件源支持 2.0.0 及以上版本，在阿里雲上創建 Kafka 實例需要選擇包年包月、專業版本進行購買，購買之後升級到 2.0.0 即可。

2

部署實例並綁定 VPC

購買完成之後，進行部署，部署時設置 Knative 集群所在的 VPC 即可：

3

創建 Topic 和 Consumer Group

接下來我們創建 Topic 和消費組。
進入【Topic 管理】，點擊 創建 Topic, 這裡我們創建名稱為 demo 的 topic:

4

進入【Consumer Group 管理】,點擊 創建 Consumer Group, 這裡我們創建名稱為 demo-consumer 的消費組:

5

部署 Kafka 數據源

部署 Kafka addon 組件

登錄容器服務控制台，進入【Knative 組件管理】，部署 Kafka addon 組件。

6

創建 KafkaSource 實例

首先創建用於接收事件的服務 event-display:

apiVersion: serving.knative.dev/v1  kind: Service  metadata:    name: event-display  spec:    template:      spec:        containers:        - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/eventing-sources-cmd-event_display:bf45b3eb1e7fc4cb63d6a5a6416cf696295484a7662e0cf9ccdf5c080542c21d

接下來創建 KafkaSource：

apiVersion: sources.eventing.knative.dev/v1alpha1  kind: KafkaSource  metadata:    name: alikafka-source  spec:    consumerGroup: demo-consumer    # Broker URL. Replace this with the URLs for your kafka cluster,    # which is in the format of my-cluster-kafka-bootstrap.my-kafka-namespace:9092.    bootstrapServers: 192.168.0.6x:9092,192.168.0.7x:9092,192.168.0.8x:9092    topics: demo    sink:      apiVersion: serving.knative.dev/v1alpha1      kind: Service      name: event-display

說明：

  • bootstrapServers: Kafka VPC 訪問地址
  • consumerGroup： 設置消費組
  • topics：設置 Topic

創建完成之後，我們可以查看對應的實例已經運行：

[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl get pods  NAME                                    READY   STATUS    RESTARTS   AGE  alikafka-source-k22vz-db44cc7f8-879pj   1/1     Running   0          8h

驗證

在 Kafka 控制台，選擇 topic 發送消息，注意這裡的消息格式必須是 json 格式：

7

我們可以看到已經接收到了發送過來的 Kafka 消息：

[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl logs event-display-zl6m5-deployment-6bf9596b4f-8psx4 user-container    ☁️  CloudEvent: valid ✅  Context Attributes,    SpecVersion: 0.2    Type: dev.knative.kafka.event    Source: /apis/v1/namespaces/default/kafkasources/alikafka-source#demo    ID: partition:7/offset:1    Time: 2019-10-18T08:50:32.492Z    ContentType: application/json    Extensions:      key: demo  Transport Context,    URI: /    Host: event-display.default.svc.cluster.local    Method: POST  Data,    {      "key": "test"    }

小結

結合阿里雲 Kafka 產品，通過事件驅動觸發服務（函數）執行，是不是簡單又高效。這樣我們利用 Knative 得以把雲原生的能力充分釋放出來，帶給我們更多的想像空間。歡迎對 Knative 感興趣的一起交流。

實操視頻演示鏈接：https://v.qq.com/x/page/d3013wzs3tp.html

作者簡介：元毅，阿里雲容器平台高級開發工程師，負責阿里雲容器平台 Knative 相關工作。

歡迎加入 Knative 交流群

8

「 阿里巴巴雲原生微信公眾號（ID：Alicloudnative）關注微服務、Serverless、容器、Service Mesh等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的技術公眾號。」

VirMach 便宜 VPS

QNews

QNews