找回密码
 立即注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 1729|回复: 0
打印 上一主题 下一主题

[求助] pycharm无法加载到Hadoop的本地文件库

0

主题

0

帖子

0

积分

贫民

积分
0
跳转到指定楼层
楼主
本帖最后由 785983255ll 于 2022-12-6 19:33 编辑

"""
rdd输出到文件中"""
from pyspark import SparkConf, SparkContext
import os
os.environ['PYSPARK_PYTHON'] = "C:\\Users\\22525\\anaconda3\\envs\\pyspark\\python.exe"

os.environ['HADOOP_HOME'] = 'D:/dev/hadoop-3.0.0'
conf = SparkConf().setMaster("local
").setAppName("test_spark")
sc = SparkContext(conf=conf)
# 准备一个rdd1
rdd1 = sc.parallelize([1, 2, 3, 4, 5])
# 准备一个rdd2
rdd2 = sc.parallelize([('hello', 1), ('spark', 5), ('hi', 7)])
# 准备一个rdd3
rdd3 = sc.parallelize([[1, 3, 5], [7, 9, 11], [13, 15, 17]])
# rdd输出到文件中
rdd1.saveAsTextFile("d:/test1")
rdd2.saveAsTextFile("d:/test2")
rdd3.saveAsTextFile("d:/test3")









屏幕截图 2022-12-06 193323.png (252.86 KB, 下载次数: 19)

屏幕截图 2022-12-06 193323.png

屏幕截图 2022-12-06 192401.png (579.64 KB, 下载次数: 19)

屏幕截图 2022-12-06 192401.png
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表