Cloudera Streams Management正式GA
- 2019 年 10 月 5 日
- 筆記
上個月Cloudera發布Cloudera Stream Processing，這個解決方案讓所有Cloudera客戶都能獲得最新的，安全版本的Apache Kafka以及Schema Registry和Kafka Streams。我們很自豪能夠通過Kafka的實施為數百名活躍客戶提供支援，現在我們渴望為更多的客戶提供服務。
Cloudera Stream Processing https://blog.cloudera.com/introducing-cloudera-stream-processing/
儘管Kafka在當今企業的大多數流式架構中被用作核心流處理引擎，但它也在平台操作，DevOps以及安全和治理團隊中帶來了一系列挑戰。原始的Kafka沒有開箱即用的任何管理介面來幫助這些團隊簡化使用與運維。但相應的當涉及到這種實時流式架構時，業務連續性是IT部門的首要任務。如果主Kafka集群出現故障，所有人都會看著IT和DataOps團隊，看看他們是否設計了適當的DR（災難恢復）計劃來啟動備用集群以保持業務平穩運行。同樣，Kafka中沒有開箱即用的工具可用於有效的HA（高可用）/DR管理。
為了應對這些挑戰，Cloudera很高興為Kafka推出管理和監控工具 – Cloudera Streams Management（CSM）。CSM主要由兩種產品組成：
1.Cloudera Streams Messaging Manager (SMM) ：這是Kafka的管理/監控儀錶板，自去年以來一直非常受歡迎。它一直在改變企業獲取Kafka集群可見性的方式。我們的客戶對此讚不絕口！
2.Cloudera Streams Replication Manager (SRM) ：這是CSM下的全新的子產品。對於有HA或DR需求的企業而言，Kafka的複製或備份一直是個挑戰。像Mirrormaker這種Kafka原生的工具不是為複製構建的，因此，我們的客戶要求提供簡單，直觀和易於管理的工具。SRM通過在您的環境中跨多個集群啟用Kafka複製來幫助您實現業務連續性。
Streams Messaging Manager (SMM)
幾年前，我們在30名Kafka客戶中發現了「Kafka失明」的問題。於是我們提出了一種創新的解決方案，該解決方案因其直觀的設計和可用性而受到所有人的高度讚揚。在這個CSM版本中，Cloudera Manager可以直接管理SMM這個服務，Apache Sentry則提供基於角色的訪問授權，Schema Registry則提供Kafka治理和schema管理能力。這一系列功能讓熟悉Cloudera Manager的用戶能以自己習慣的方式使用SMM。在此版本中，我們還添加了一個新的DevOps監控功能，其中包括端到端的跨producer，topic/broker和consumer的時延視圖。這可以幫助回答諸如「消息生產後被消費的平均時延是多少」這類問題。
Streams Replication Manager (SRM)
Apache Kafka支援內部複製，以支援集群中的數據可用性。但是，企業要求數據可用性和持久性保證能跨整個集群和數據中心故障。跨集群和數據中心複製數據對於許多場景（包括DR，分析聚合，訪問隔離，地理鄰近，雲遷移以及出於法律和合規性原因）至關重要。Mirrormaker是目前Kafka用於數據複製需求的常用工具。但是，Mirrormaker對於希望在Kafka集群之間進行關鍵任務數據複製的企業有嚴重的限制。
Mirrormaker has severe limitations https://blog.cloudera.com/kafka-replication-the-case-for-mirrormaker-2-0/
因此，我們主導創建了Kafka Mirrormaker 2方案，該方案解決了Mirrormaker 1的局限性，能夠動態修改配置，使topic在集群之間保持同步並顯著提高性能。此外，對於active-active集群和災備，MM2也是開箱即用的。
Kafka Mirrormaker 2 https://blog.cloudera.com/a-look-inside-kafka-mirrormaker-2/
Streams Replication Manager是Cloudera基於MM2的另一個開源的創新項目。SRM使企業能夠實現跨Kafka集群的topic複製。這使企業可以很容易的實現容災備份架構，比如active/active集群設置。SRM還與SMM用戶介面緊密集成，因此SMM中有一個新的Cluster Replications視圖。這為SRM集群中發生的複製流提供了監控視圖。該視圖顯示了數據複製的詳細資訊，其中包括集群和topic級別的指標，比如需要複製的topic列表，每個複製任務的狀態，集群之間的吞吐，以及任何複製延遲。SMM中的Cluster Replications視圖同時還包括基於監控指標創建告警。
Cloudera承諾會專註於流市場以及增強已經很全面的Kafka產品。請繼續關注更多官宣。
