使用Python写spark 示例
- 2020 年 1 月 10 日
- 笔记
个人GitHub地址： https://github.com/LinMingQiang
为什么要使用Python来写Spark
Python写spark我认为唯一的理由就是：你要做数据挖掘，AI相关的工作。因为很多做数挖的他们的基础语言都是python，他们如果重新学scala比较耗时，而且，python他的强大类库是他的优势，很多算法库只有python有。
Win本地编写代码调试
编辑器：PyCharm Spark：1.6 Python：2.7
Win环境准备
- Python的安装 解压python包，在环境变量里面配上bin的路径
- Spark的安装 下载spark的bin文件，解压即可，在环境变量配置SPARK_HOME 要可以通过编辑器来安装，如pycharm，查找pyspark库安装即可
- Hadoop安装 安装hadoop环境 。在win下面需要winutils.exe；在环境里面配置HADOOP_HOME 即可
代码示例
# -*- coding: utf-8 -*- from __future__ import print_function from pyspark import * import os print(os.environ['SPARK_HOME']) print(os.environ['HADOOP_HOME']) if __name__ == '__main__': sc = SparkContext("local[8]") rdd = sc.parallelize("hello Pyspark world".split(" ")) counts = rdd .flatMap(lambda line: line) .map(lambda word: (word, 1)) .reduceByKey(lambda a, b: a + b) .foreach(print) sc.stop
问题1： from pyspark import * 找不到pyspark。那你需要把spark的bin包下面的python的所有都拷贝到（可能需要解压py4j） %PYTHON%Libsite-packages下面去。这样，你的编辑器才能找到。 或者： 配置你的编辑器的环境变量： PYTHONPATH=F:homespark-1.6.0-bin-hadoop2.6python;F:python2.7Libsite-packages
使用spark-submit提交时用到其他类库 –py-files xxxx/xxxx.zip,xxxx.py
