腾讯云EMR&Elasticsearch中 使用ES-Hadoop&云HDFS进行数据交换和备份

  • 2019 年 12 月 6 日
  • 筆記

腾讯云EMR和ES是两款非常火热的大数据分析产品,长期以来一直是分别在客户场景下使用的,不过随着云上CHDFS产品的上线,以及ES-Hadoop等插件的完善,两者结合使用有了比较成熟的方案,下面就介绍一下相关使用的方式:

ELASTICSEARCH-HADOOP官方说明:

https://www.elastic.co/cn/what-is/elasticsearch-hadoop

示意图:

上面的示意图可能会有点费解,更形象的示意图:

其他的参考文档:

EMR集群中的HDFS存储可以用云HDFS代替:

云 HDFS(Cloud HDFS,CHDFS)介绍

https://cloud.tencent.com/document/product/1105/36355

挂载云HDFS

https://cloud.tencent.com/document/product/1105/36368

其他参考文档:

腾讯云EMR&Elasticsearch中使用ES-Hadoop之MR&Hive篇

https://cloud.tencent.com/developer/article/1370569

腾讯云EMR&Elasticsearch中使用ES-Hadoop之Spark篇

https://cloud.tencent.com/developer/article/1380432

Elasticsearch备份数据到HDFS—-下个版本支持

https://zhuanlan.zhihu.com/p/52842290

ES-Hadoop学习之ES和HDFS数据交换

https://blog.csdn.net/u014728303/article/details/77773956

ElasticSearch 备份数据至CHDFS实践

http://km.oa.com/group/37795/articles/show/404907