pySpark API 词频统计(5)

#1 本地计算

pyhont xx.py

#2 提交集群

spark-submit --py-files pyspark_wordcount.zip pyspark_wordcount.py

提交spark的时候,我们往往python工程是多个python文件,彼此之间有调用关系。 

那如何提交python工程呢? 

./bin/spark-submit --py-files XXXX.zip aaa.py

XXXX是你将你所有需要用到的python文件打包成一个zip文件 

aaa是你的python文件的main函数所在的py文件。

推荐阅读更多精彩内容

  • 1 每天来的都是最早的,但是心情又是忐忑的,因为担心人员的问题,下班车的一瞬间看到劳务公司在门口正在组织人员分配,...
    冬冬Steven阅读 28评论 0 1
  • 人来来去去生生死死,是为了什么呢?重复着轮回?有什么意义呢?要思考什么呢?思考有没有用呢?“用”是什么意思呢?为什...
    fascinatingncle阅读 170评论 0 1
  • 磕磕绊绊365天日更训练已更到71天,一个还算可观的数字,可是并没有可观的成绩——客观上完全是自娱式写作,没有成熟...
    刘艺诺阅读 95评论 0 2
  • 公司组织旅游,一项都是强权的一方话语,明明线路和价钱不合理,却不会有人站出来说话,大家都以反正公司的钱,自己不掏钱...
    岸兰汀芷阅读 56评论 0 0
  • 在建立数据库表结构的时候,为了给一个String类型的数据定义一个数据库的数据库类型,一般参考的都是char或者v...
    宝贝双双阅读 46评论 0 0