Spark SQL解析查詢parquet格式Hive表獲取分區欄位和查詢條件

  • 2020 年 12 月 3 日
  • 筆記

首先说一下,这里解决的问题应用场景: sparksql处理Hive表数据时,判断加载的是否是分区表,以及分区表的字段有哪些?再进一步限制查询分区表必须指定分区? 这里涉及到两种情况:select SQL查询和加载Hive表路径的方式。这里仅就"加载Hive表路径的方式"解析分区表字段,在处理时出现的 …

Continue Reading