flink系列(6)-流分区器partition分析

• 2019 年 10 月 4 日
• 笔记

流分区器，在流进行转换后，flink通过分区器精确控制数据的流向，下图是flink提供的所有的所有的分区器

可以发现所有的partition都需要实现StreamPartitioner接口和ChannelSelector的接口

其中ForwardPartitioner和GlobalPartitioner两个实现器基本一样，是将记录转发给在本地运行的下游的(归属于subtask)的operation

ShufflePartitioner是随机选择一个channel

RebalancePartitioner实现了一个轮询分区算法

BroadcastPartitioner是将数据发往下游所有节点

RescalPartitioner是通过轮询的方式发往下游

针对这个进行一些说明：

上游操作所发送的元素被分区到下游操作的哪些子集，依赖于上游和下游操作的并行度。例如，如果上游操作的并行度为2，而下游操作的并行度为4，那么一个上游操作会分发元素给两个下游操作，同时另一个上游操作会分发给另两个下游操作。相反的，如果下游操作的并行度为2，而上游操作的并行度为4，那么两个上游操作会分发数据给一个下游操作，同时另两个上游操作会分发数据给另一个下游操作。在上下游的并行度不是呈倍数关系的情况下，下游操作会有数量不同的来自上游操作的输入 KeyGroupStreamPartitioner：通过记录的数据值获得分区key，通过如下公式

keyGroupId * parallelism / maxParallelism

计算出最终的channel

CustomPartitionerWrapper：是自定义分区器