騰訊雲EMR&Elasticsearch中 使用ES-Hadoop&雲HDFS進行數據交換和備份
- 2019 年 12 月 6 日
- 筆記
騰訊雲EMR和ES是兩款非常火熱的大數據分析產品,長期以來一直是分別在客戶場景下使用的,不過隨着雲上CHDFS產品的上線,以及ES-Hadoop等插件的完善,兩者結合使用有了比較成熟的方案,下面就介紹一下相關使用的方式:
ELASTICSEARCH-HADOOP官方說明:
https://www.elastic.co/cn/what-is/elasticsearch-hadoop
示意圖:

上面的示意圖可能會有點費解,更形象的示意圖:

其他的參考文檔:
EMR集群中的HDFS存儲可以用雲HDFS代替:
雲 HDFS(Cloud HDFS,CHDFS)介紹
https://cloud.tencent.com/document/product/1105/36355
掛載雲HDFS
https://cloud.tencent.com/document/product/1105/36368
其他參考文檔:
騰訊雲EMR&Elasticsearch中使用ES-Hadoop之MR&Hive篇
https://cloud.tencent.com/developer/article/1370569
騰訊雲EMR&Elasticsearch中使用ES-Hadoop之Spark篇
https://cloud.tencent.com/developer/article/1380432
Elasticsearch備份數據到HDFS—-下個版本支持
https://zhuanlan.zhihu.com/p/52842290
ES-Hadoop學習之ES和HDFS數據交換
https://blog.csdn.net/u014728303/article/details/77773956
ElasticSearch 備份數據至CHDFS實踐
http://km.oa.com/group/37795/articles/show/404907