騰訊雲EMR&Elasticsearch中 使用ES-Hadoop&雲HDFS進行數據交換和備份

  • 2019 年 12 月 6 日
  • 筆記

騰訊雲EMR和ES是兩款非常火熱的大數據分析產品,長期以來一直是分別在客戶場景下使用的,不過隨着雲上CHDFS產品的上線,以及ES-Hadoop等插件的完善,兩者結合使用有了比較成熟的方案,下面就介紹一下相關使用的方式:

ELASTICSEARCH-HADOOP官方說明:

https://www.elastic.co/cn/what-is/elasticsearch-hadoop

示意圖:

上面的示意圖可能會有點費解,更形象的示意圖:

其他的參考文檔:

EMR集群中的HDFS存儲可以用雲HDFS代替:

雲 HDFS(Cloud HDFS,CHDFS)介紹

https://cloud.tencent.com/document/product/1105/36355

掛載雲HDFS

https://cloud.tencent.com/document/product/1105/36368

其他參考文檔:

騰訊雲EMR&Elasticsearch中使用ES-Hadoop之MR&Hive篇

https://cloud.tencent.com/developer/article/1370569

騰訊雲EMR&Elasticsearch中使用ES-Hadoop之Spark篇

https://cloud.tencent.com/developer/article/1380432

Elasticsearch備份數據到HDFS—-下個版本支持

https://zhuanlan.zhihu.com/p/52842290

ES-Hadoop學習之ES和HDFS數據交換

https://blog.csdn.net/u014728303/article/details/77773956

ElasticSearch 備份數據至CHDFS實踐

http://km.oa.com/group/37795/articles/show/404907