0750-7.0.3-如何在CDP DC7.0.3集群部署Flink1.9.1

2020 年 2 月 24 日
筆記

文檔編寫目的

在前面的文章中，Fayson介紹了《如何獲得Cloudera的Flink Parcel包》和《如何在Redhat7.6中安裝CDP DC7.0.3》，基於前面的集群環境，本篇文章Fayson主要介紹如何在CDP DC7.0.3集群中使用Parcel的方式安裝Flink1.9.1。

文檔概述

1.如何在CDP DC集群安裝FLink1.9.1

2.運行一個Flink示例驗證

測試環境

1.操作系統Redhat7.2

2.CDP DC7.0.3

3.使用root用戶操作

安裝Flink

1.準備Flink1.9.1的csd文件，並放置到Cloudera Manager Server服務器的/opt/cloudera/csd目錄下，然後重啟Cloudera Manager Server服務

[root@cdh1 csd]# pwd  /opt/cloudera/csd  [root@cdh1 csd]# ll  total 40  -rw-r--r-- 1 root root 39506 Feb 11 16:59 FLINK-1.9.1-csa1.1.0.0-cdh7.0.3.0-79-1753674.jar  [root@cdh1 csd]#

2.下載Flink1.9.1的Parcel並部署到httpd服務的/var/www/html/flink1.9.1目錄下

[root@cdh4 flink1.9.1]# ll  total 135664  -rw-r--r-- 1 root root 138867394 Feb 11 14:44 FLINK-1.9.1-csa1.1.0.0-cdh7.0.3.0-79-1753674-el7.parcel  -rw-r--r-- 1 root root        41 Feb 11 14:43 FLINK-1.9.1-csa1.1.0.0-cdh7.0.3.0-79-1753674-el7.parcel.sha  -rw-r--r-- 1 root root      1065 Feb 11 14:43 manifest.json  [root@cdh4 flink1.9.1]#

3.CM重啟完成以後，添加服務頁面可以看到有Flink服務。

4.登錄CM，在左側菜單欄點擊「Parcel」按鈕，進入Parcles管理界面進行配置

進入Parcles管理界面後如下界面：

點擊「Parcel Repositories & Network Settings」菜單配置Flink的本地parcel庫

完成配置後，點擊「Save & Verify Configuration」，關閉配置配置界面可以看到Flink的信息

分別進行「下載、分配、激活」操作，完成後顯示如下：

5.進入CM主頁點擊「添加服務」。

6.選擇添加Flink服務，點擊繼續。

7.選擇Flink History Server以及Gateway節點，點擊繼續

8.點擊繼續

9.等待Flink History Server啟動成功，完成後點擊繼續

10.安裝完成，點擊完成回到CM主頁

發現Flink的狀態為灰色，CMS有重啟提示，按照提示重啟CMS服務，重啟過程略。重啟完成後顯示Flink服務正常。

Flink示例運行

1.執行Flink自帶的example的wordcount例子。

hadoop fs -mkdir -p wordcount/input  hadoop fs -mkdir -p wordcount/output  hadoop fs -put dfclear wordcount/input  flink run -m yarn-cluster -yn 3 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs:///user/root/wordcount/input/dfclear --output hdfs:///user/root/wordcount/output