快速學習-Azkaban實戰

• 2020 年 2 月 18 日
• 筆記

三 Azkaban 實戰

Azkaban 內置的任務類型支持 command、java

3.1 單一 job 案例

1. 案例實操
   1. 創建 job 描述文件

[atguigu@hadoop102 jobs]$ vim first.job  #first.job  type=command  command=echo 'this is my first job'

1. 將 job 資源文件打包成 zip 文件

[atguigu@hadoop102 jobs]$ zip first.zip first.job   adding: first.job (deflated 15%)  [atguigu@hadoop102 jobs]$ ll  總用量 8  -rw-rw-r--. 1 atguigu atguigu 60 10 月 18 17:42 first.job -rw-rw-r--. 1 atguigu atguigu 219 10 月 18 17:43 first.zip

注意： 目前，Azkaban 上傳的工作流文件只支持 xxx.zip 文件。zip 應包含 xxx.job 運行作業所需的文件和任何文件（文件名後綴必須以.job 結尾，否則無法識別）。作業名稱在項目中必須是唯一的。

1. 通過 azkaban 的 web 管理平台創建 project 並上傳 job 的 zip 包首先創建 project

上傳 zip 包

1. 啟動執行該 job

點擊執行工作流

點擊繼續

1. Job 執行成功

1. 點擊查看 job 日誌

3.2 郵件通知配置案例

1. 修改配置文件 修改 server 的 conf 下的 azkaban.properties 文件

1. 在網頁上進行配置

3.3 多 job 工作流案例

1. 創建有依賴關係的多個 job 描述 第一個 job：start.job

[atguigu@hadoop102 jobs]$ vim start.job  #start.job  type=command  command=touch /opt/module/kangkang.txt

第二個 job：step1.job 依賴 start.job

[atguigu@hadoop102 jobs]$ vim step1.job  #step1.job  type=command  dependencies=start  command=echo "this is step1 job"

第三個 job：step2.job 依賴 start.job

[atguigu@hadoop102 jobs]$ vim step2.job  #step2.job  type=command  dependencies=start  command=echo "this is step2 job"

第四個 job：finish.job 依賴 step1.job 和 step2.job

[atguigu@hadoop102 jobs]$ vim finish.job  #finish.job  type=command  dependencies=step1,step2  command=echo "this is finish job"

1. 將所有 job 資源文件打到一個 zip 包中

[atguigu@hadoop102 jobs]$ zip jobs.zip start.job step1.job step2.job  finish.job  updating: start.job (deflated 16%)   adding: step1.job (deflated 12%)   adding: step2.job (deflated 12%)   adding: finish.job (deflated 14%)

1. 在 azkaban 的 web 管理界面創建工程並上傳 zip 包

1. 啟動工作流 flow

1. 查看結果

思考： 將 student.txt 文件上傳到 hdfs，根據所傳文件創建外部表，再將表中查詢到的結果寫入到本地文件

3.4 Java 操作任務

使用 Azkaban 調度 java 程序

1. 編寫 java 程序

public class AzkabanTest {      public void run() throws IOException {          // 根據需求編寫具體代碼          FileOutputStream fos = new                  FileOutputStream("/opt/module/azkaban/output.txt");          fos.write("this is a java progress".getBytes());          fos.close();      }        public static void main(String[] args) throws IOException {          AzkabanTest azkabanTest = new AzkabanTest();          azkabanTest.run();      }  }

1. 將 java 程序打成 jar 包，創建 lib 目錄，將 jar 放入 lib 內

[atguigu@hadoop102 azkaban]$ mkdir lib  [atguigu@hadoop102 azkaban]$ cd lib/  [atguigu@hadoop102 lib]$ ll  總用量 4 -rw-rw-r--. 1 atguigu atguigu 3355 10 月 18 20:55 azkaban-0.0.1-  SNAPSHOT.jar

1. 編寫 job 文件

[atguigu@hadoop102 jobs]$ vim azkabanJava.job  #azkabanJava.job  type=javaprocess  java.class=com.atguigu.azkaban.AzkabanTest  classpath=/opt/module/azkaban/lib/*

1. 將 job 文件打成 zip 包

[atguigu@hadoop102 jobs]$ zip azkabanJava.zip azkabanJava.job   adding: azkabanJava.job (deflated 19%)

1. 通過 azkaban 的 web 管理平台創建 project 並上傳 job 壓縮包，啟動執行該 job

[atguigu@hadoop102 azkaban]$ pwd  /opt/module/azkaban  [atguigu@hadoop102 azkaban]$ ll  總用量 24  drwxrwxr-x. 2 atguigu atguigu 4096 10 月 17 17:14 azkaban-2.5.0  drwxrwxr-x. 10 atguigu atguigu 4096 10 月 18 17:17 executor  drwxrwxr-x. 2 atguigu atguigu 4096 10 月 18 20:35 jobs  drwxrwxr-x. 2 atguigu atguigu 4096 10 月 18 20:54 lib  -rw-rw-r--. 1 atguigu atguigu 23 10 月 18 20:55 output  drwxrwxr-x. 9 atguigu atguigu 4096 10 月 18 17:17 server  [atguigu@hadoop102 azkaban]$ cat output  this is a java progress

3.5 HDFS 操作任務

1. 創建 job 描述文件

[atguigu@hadoop102 jobs]$ vim fs.job  #hdfs job  type=command  command=/opt/module/hadoop-2.7.2/bin/hadoop fs -mkdir /azkaban

1. 將 job 資源文件打包成 zip 文件

[atguigu@hadoop102 jobs]$ zip fs.zip fs.job   adding: fs.job (deflated 12%)

1. 通過 azkaban 的 web 管理平台創建 project 並上傳 job 壓縮包
2. 啟動執行該 job
3. 查看結果

3.6 MapReduce 任務

MapReduce 任務依然可以使用 Azkaban 進行調度

1. 創建 job 描述文件，及 mr 程序 jar 包

[atguigu@hadoop102 jobs]$ vim mapreduce.job  #mapreduce job  type=command  command=/opt/module/hadoop-2.7.2/bin/hadoop jar /opt/module/hadoop-  2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar  wordcount /wordcount/input /wordcount/output

1. 將所有 job 資源文件打到一個 zip 包中

[atguigu@hadoop102 jobs]$ zip mapreduce.zip mapreduce.job   adding: mapreduce.job (deflated 43%)

1. 在 azkaban 的 web 管理界面創建工程並上傳 zip 包
2. 啟動 job
3. 查看結果

3.7 Hive 腳本任務

1. 創建 job 描述文件和 hive 腳本
   1. Hive 腳本：student.sql

[atguigu@hadoop102 jobs]$ vim student.sql  use default;  drop table student;  create table student(id int, name string)  row format delimited fields terminated by 't';  load data local inpath '/opt/module/datas/student.txt' into table  student;  insert overwrite local directory '/opt/module/datas/student'  row format delimited fields terminated by 't'  select * from student;

1. Job 描述文件：hive.job

[atguigu@hadoop102 jobs]$ vim hive.job  #hive job  type=command  command=/opt/module/hive/bin/hive -f  /opt/module/azkaban/jobs/student.sql

1. 將所有 job 資源文件打到一個 zip 包中
2. 在 azkaban 的 web 管理界面創建工程並上傳 zip 包
3. 啟動 job
4. 查看結果

[atguigu@hadoop102 student]$ cat /opt/module/datas/student/000000_0  1001 yangyang  1002 huihui  1003 banzhang  1004 pengpeng