Flink Window觸發機制

2019 年 12 月 2 日
筆記

Flink的Window類型

Flink基本分有3種window類型：CountWindow，TimeWindow和SessionWindow。其中，CountWindow和TimeWindow還有滑動與滾動區分。

通常，window的api定義形式為：

stream        .keyBy(...)        .window(...)   // timeWindow,countWindow,SessionWindows.withGap(Time.minutes(10))        [.trigger(...)]        [.evictor(...)]        [.allowedLateness()]        .reduce/fold/apply()

窗口函數有哪些

定義完窗口分配器後，需要指定在每個窗口上執行的計算，這就是窗口函數的職責。在了解有哪些窗口函數之前，有必要了解Window的聚合分類： 全量聚合：簡單點說是等屬於窗口的數據到齊之後，才開始進行聚合計算；即全量聚合在未觸發之前，會保存之前的狀態，在最後窗口觸發時，才會進行計算。（所以全量聚合的壓力會很大。）常見的窗口函數： apply(WindowFunction) — 不過1.3之後被棄用 process(processWindowFunction)

增量聚合：窗口每進入一條數據，就進行一次計算。 reduce(reduceFunction)； fold； aggregate(aggregateFunction)； sum(key)；min(key)；max(key) sumBy(key)；minBy(key)；maxBy(key)

我們需要根據業務場景需要，決定使用是全量聚合還是增量聚合，並進一步選擇使用哪一種聚合函數。

Window何時會被觸發

Window何時被觸發計算，是由觸發器Trigger的onElement方法所決定。