特性速覽| Apache Hudi 0.5.3版本正式發佈

• 2020 年 6 月 19 日
• 筆記

1. 下載連接

• 源代碼下載：Apache Hudi 0.5.3 Source Release (asc, sha512)
• 0.5.3版本相關jar包地址：//repository.apache.org/#nexus-search;quick~hudi

2. 遷移指南

• 這是一個bugfix版本，從0.5.2升級時不需要任何特殊的遷移步驟。如果要從早期版本”X”升級，請閱讀”X”和0.5.3之間的每個後續版本的遷移指南。
• 0.5.3是Hudi畢業後的第一個版本，因此所有hudi jar的版本名稱中不再帶有”-incubating”。在所有提及hudi版本的地方，請確保不再存在”-incubating”。

例如，hudi-spark-bundle pom依賴如下所示：

<dependency>
	<groupId>org.apache.hudi</groupId>
	<artifactId>hudi-spark-bundle_2.12</artifactId>
	<version>0.5.3</version>
</dependency>

3. 關鍵特性

• Hudi內置支持 aliyun OSS 對象存儲。

• 默認情況下將為delta-streamer和spark datasource寫入啟用Embedded Timeline Server。在此版本之前，此功能處於實驗模式，embeddedTimeline Server在Spark Driver中緩存文件列表，並提供Restful接口給Spark Writer任務調用來減少了每次寫入時的list文件列表的操作，此優化對雲上對象存儲非常友好。

• 默認情況下為delta-streamer和Spark datasource寫入均啟用”增量清理(incremental cleaning)”。在此版本之前，此功能還處於實驗模式，在穩定狀態下，增量清理避免了掃描所有分區的昂貴步驟，而是使用Hudi元數據來查找要清理的文件，此優化也對雲上對象存儲非常友好。

• 支持將Delta-Streamer配置文件放置在與實際數據不同的文件系統中。

• Hudi Hive Sync現在支持按日期類型列分區的表。

• Hudi Hive Sync現在支持直接通過Hive MetaStore進行同步。您只需要設置hoodie.datasource.hive_sync.use_jdbc = false。Hive Metastore Uri將從environment中隱式讀取。例如當通過Spark datasource寫入時，

   spark.write.format(「hudi」)
   .option(…)
   .option(「hoodie.datasource.hive_sync.username」, 「<user>」)
   .option(「hoodie.datasource.hive_sync.password」, 「<password>」)
   .option(「hoodie.datasource.hive_sync.partition_fields」, 「<partition_fields>」)
   .option(「hoodie.datasource.hive_sync.database」, 「<db_name>」)
   .option(「hoodie.datasource.hive_sync.table」, 「<table_name>」)
   .option(「hoodie.datasource.hive_sync.use_jdbc」, 「false」)
   .mode(APPEND)
   .save(「/path/to/dataset」)
  

• 支持Presto查詢MoR表時Hudi側的改造。

• 其他與Writer Performance相關的缺陷修復。

  • 現在DataSource Writer避免了寫入後不必要的數據加載。
  • Hudi Writer現在利用spark的並發來加速小文件查找。

4. 感謝

感謝如下貢獻者（排名不分先後）: @bhasudha，@yanghua ，@ddong ，@smarthi ，@afilipchik，@zhedoubushishi，@umehrot2，@varadar，@ffcchi，@bschell，@vinothchandar ，@shenh062326，@lamber-ken，@zhaomin1423，@EdwinGuo，@prashantwason ，@pratyakshsharma，@dengziming ，@AakashPradeep，@Jecarm ，@xushiyan ，@cxzl25，@garyli1019 ，@rolandjohann ，@nsivabalan，@leesf ，@jfrazee