Cloudera Streams Management正式GA
- 2019 年 10 月 5 日
- 筆記
上个月Cloudera发布Cloudera Stream Processing，这个解决方案让所有Cloudera客户都能获得最新的，安全版本的Apache Kafka以及Schema Registry和Kafka Streams。我们很自豪能够通过Kafka的实施为数百名活跃客户提供支持，现在我们渴望为更多的客户提供服务。
Cloudera Stream Processing https://blog.cloudera.com/introducing-cloudera-stream-processing/
尽管Kafka在当今企业的大多数流式架构中被用作核心流处理引擎，但它也在平台操作，DevOps以及安全和治理团队中带来了一系列挑战。原始的Kafka没有开箱即用的任何管理界面来帮助这些团队简化使用与运维。但相应的当涉及到这种实时流式架构时，业务连续性是IT部门的首要任务。如果主Kafka集群出现故障，所有人都会看着IT和DataOps团队，看看他们是否设计了适当的DR（灾难恢复）计划来启动备用集群以保持业务平稳运行。同样，Kafka中没有开箱即用的工具可用于有效的HA（高可用）/DR管理。
为了应对这些挑战，Cloudera很高兴为Kafka推出管理和监控工具 – Cloudera Streams Management（CSM）。CSM主要由两种产品组成：
1.Cloudera Streams Messaging Manager (SMM) ：这是Kafka的管理/监控仪表板，自去年以来一直非常受欢迎。它一直在改变企业获取Kafka集群可见性的方式。我们的客户对此赞不绝口！
2.Cloudera Streams Replication Manager (SRM) ：这是CSM下的全新的子产品。对于有HA或DR需求的企业而言，Kafka的复制或备份一直是个挑战。像Mirrormaker这种Kafka原生的工具不是为复制构建的，因此，我们的客户要求提供简单，直观和易于管理的工具。SRM通过在您的环境中跨多个集群启用Kafka复制来帮助您实现业务连续性。
Streams Messaging Manager (SMM)
几年前，我们在30名Kafka客户中发现了“Kafka失明”的问题。于是我们提出了一种创新的解决方案，该解决方案因其直观的设计和可用性而受到所有人的高度赞扬。在这个CSM版本中，Cloudera Manager可以直接管理SMM这个服务，Apache Sentry则提供基于角色的访问授权，Schema Registry则提供Kafka治理和schema管理能力。这一系列功能让熟悉Cloudera Manager的用户能以自己习惯的方式使用SMM。在此版本中，我们还添加了一个新的DevOps监控功能，其中包括端到端的跨producer，topic/broker和consumer的时延视图。这可以帮助回答诸如“消息生产后被消费的平均时延是多少”这类问题。
Streams Replication Manager (SRM)
Apache Kafka支持内部复制，以支持集群中的数据可用性。但是，企业要求数据可用性和持久性保证能跨整个集群和数据中心故障。跨集群和数据中心复制数据对于许多场景（包括DR，分析聚合，访问隔离，地理邻近，云迁移以及出于法律和合规性原因）至关重要。Mirrormaker是目前Kafka用于数据复制需求的常用工具。但是，Mirrormaker对于希望在Kafka集群之间进行关键任务数据复制的企业有严重的限制。
Mirrormaker has severe limitations https://blog.cloudera.com/kafka-replication-the-case-for-mirrormaker-2-0/
因此，我们主导创建了Kafka Mirrormaker 2方案，该方案解决了Mirrormaker 1的局限性，能够动态修改配置，使topic在集群之间保持同步并显著提高性能。此外，对于active-active集群和灾备，MM2也是开箱即用的。
Kafka Mirrormaker 2 https://blog.cloudera.com/a-look-inside-kafka-mirrormaker-2/
Streams Replication Manager是Cloudera基于MM2的另一个开源的创新项目。SRM使企业能够实现跨Kafka集群的topic复制。这使企业可以很容易的实现容灾备份架构，比如active/active集群设置。SRM还与SMM用户界面紧密集成，因此SMM中有一个新的Cluster Replications视图。这为SRM集群中发生的复制流提供了监控视图。该视图显示了数据复制的详细信息，其中包括集群和topic级别的指标，比如需要复制的topic列表，每个复制任务的状态，集群之间的吞吐，以及任何复制延迟。SMM中的Cluster Replications视图同时还包括基于监控指标创建告警。
Cloudera承诺会专注于流市场以及增强已经很全面的Kafka产品。请继续关注更多官宣。
