spark2.4.4-CDH6.3.0编译
- 2019 年 11 月 15 日
- 筆記
在之前的文章中描述了Spark+CDH的编译步骤, spark-2.1.0-bin-2.6.0-cdh5.x源码编译
但是,Spark2.4.4的编译命令和前版本略有区别: 需要去掉hadoop-3.0.0-cdh6.3.0
的 hadoop-
前缀,这一步很关键,否则会报找不到 hadoop-client jar
包的错误。
./build/mvn -Pyarn -Phadoop-3.0 -Dhadoop.version=3.0.0-cdh6.3.0 -Phive -Phive-thriftserver -DskipTests clean package

image.png
exec: curl --progress-bar -L https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz
脚本先下载zinic和scala
到build
目录下,如果网速感人的话,自己可以把这两个依赖手动下到build
目录下
编译成可执行的tgz包: ./dev/make-distribution.sh --name 3.0.0-cdh6.3.0 --tgz -Pyarn -Phadoop-3.0 -Phive -Phive-thriftserver -Dhadoop.version=hadoop-3.0.0-cdh6.3.0
./dev/make-distribution.sh --name 3.0.0-cdh6.3.0 --tgz -Pyarn -Phadoop-3.0 -Phive -Phive-thriftserver -Dhadoop.version=3.0.0-cdh6.3.0