一、anaconda部分配置
1、安装
在官网下载安装包，https://www.anaconda/products/individual，选择windows版本进行下载。下载完成后直接安装，一直点下一步就行。
2、配置环境变量
将下面三个加入电脑的环境变量Path中，我的anaconda安装路径是D:\professional_app\anaconda，大家按照直接的安装路径进行修改。
D:\professional_app\anaconda
D:\professional_app\anaconda\Scripts
D:\professional_app\anaconda\Library\bin
3、创建环境（python3.6）
方式一：可视化界面创建
打开安装好的anaconda，点击environments --> create，在弹窗中填写自定义的环境名，选择需要的python版本，点击create，即可创建成功。
方式二：命令行创建
conda create -n [自定义环境名] python=[指定python版本] anaconda
4、激活环境
方式一：可视化界面激活环境
点击要激活的环境，当后面出现一个绿色的启动标识，则说明激活成功。
方式二：命令行激活环境
activate [环境名]
当前面出现环境名，则说明激活成功
二、下载spark包
- https://spark.apache/downloads.html，在官网上下载需要的spark版本。
- 我下载的是spark-2.4.4-bin-hadoop2.7，大家视情况而定。
- 解压至目标文件夹。复制spark-2.4.4-bin-hadoop2.7/python/pyspark文件夹，至anaconda路径下的\Lib\site-packages中。
- 若需要使用的python环境是上面自定义的，则要将pyspark复制到至anaconda路径下的anaconda\envs\py36\Lib\site-packages中。（py36是我定义的环境名，大家按照自己的环境名去找路径）
三、pycharm部分配置
打开或者新建一个需要用到pyspark的项目。
点击导航栏上的File–setting，打开如下弹窗，按下图点击Add
选择刚才复制了pyspark的环境下的python.exe
四、配置检验
按照这样配置下来，代码中就可以直接使用pyspark了，不会报红。
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
发布者：admin，转转请注明出处：http://www.yc00.com/web/1738020797a4012429.html
评论列表（0条）