spark2.4.4-CDH6.3.0编译

• 2019 年 11 月 15 日
• 筆記

在之前的文章中描述了Spark+CDH的编译步骤， spark-2.1.0-bin-2.6.0-cdh5.x源码编译

但是，Spark2.4.4的编译命令和前版本略有区别： 需要去掉hadoop-3.0.0-cdh6.3.0 的 hadoop-前缀，这一步很关键，否则会报找不到 hadoop-client jar包的错误。

./build/mvn -Pyarn -Phadoop-3.0 -Dhadoop.version=3.0.0-cdh6.3.0 -Phive -Phive-thriftserver -DskipTests clean package

image.png

exec: curl --progress-bar -L https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz

脚本先下载zinic和scala到build目录下，如果网速感人的话，自己可以把这两个依赖手动下到build目录下

编译成可执行的tgz包： ./dev/make-distribution.sh --name 3.0.0-cdh6.3.0 --tgz -Pyarn -Phadoop-3.0 -Phive -Phive-thriftserver -Dhadoop.version=hadoop-3.0.0-cdh6.3.0

./dev/make-distribution.sh    --name 3.0.0-cdh6.3.0   --tgz   -Pyarn   -Phadoop-3.0   -Phive   -Phive-thriftserver    -Dhadoop.version=3.0.0-cdh6.3.0