spark2.4.4-CDH6.3.0編譯

• 2019 年 11 月 15 日
• 筆記

在之前的文章中描述了Spark+CDH的編譯步驟， spark-2.1.0-bin-2.6.0-cdh5.x源碼編譯

但是，Spark2.4.4的編譯命令和前版本略有區別： 需要去掉hadoop-3.0.0-cdh6.3.0 的 hadoop-前綴，這一步很關鍵，否則會報找不到 hadoop-client jar包的錯誤。

./build/mvn -Pyarn -Phadoop-3.0 -Dhadoop.version=3.0.0-cdh6.3.0 -Phive -Phive-thriftserver -DskipTests clean package

image.png

exec: curl --progress-bar -L https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz

腳本先下載zinic和scala到build目錄下，如果網速感人的話，自己可以把這兩個依賴手動下到build目錄下

編譯成可執行的tgz包： ./dev/make-distribution.sh --name 3.0.0-cdh6.3.0 --tgz -Pyarn -Phadoop-3.0 -Phive -Phive-thriftserver -Dhadoop.version=hadoop-3.0.0-cdh6.3.0

./dev/make-distribution.sh    --name 3.0.0-cdh6.3.0   --tgz   -Pyarn   -Phadoop-3.0   -Phive   -Phive-thriftserver    -Dhadoop.version=3.0.0-cdh6.3.0