java -jar运行MR程序

1、一般的做法都是使用hadoop jar的形式提交任务。
vi bin/hadoop.jar

image.png

其实内部调用了RunJar.java 用来读取hadoop环境参数,配置文件等

2、现在想用单纯的java -jar来提交MR任务到yarn也是可行的

3、打个胖包。


image.png

4、java -jar wc-fat.jar /day08-wc/input/wc.txt /day08-wc/output3
报错:

image.png

胖包里面没有配置文件。
把输入输出文件当成local模式的了。

5、下载集群的配置文件到本地Eclipse src目录下。

image.png

6、指定本程序的jar包所在的本地路径

//job.setJarByClass(WordcountDriver.class);
   job.setJar("/home/hadoop/lib/wc-fat.jar");

再次执行即可:
java -jar wc-fat.jar /day08-wc/input/wc.txt /day08-wc/output4

推荐阅读更多精彩内容

  • 首先,我们在使用前先看看HDFS是什麽?这将有助于我们是以后的运维使用和故障排除思路的获得。 HDFS采用mast...
    W_Bousquet阅读 2,770评论 0 2
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 103,704评论 13 125
  • 目的这篇教程从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面。先决条件请先确认Had...
    SeanC52111阅读 964评论 0 2
  • Spring Boot 参考指南 介绍 转载自:https://www.gitbook.com/book/qbgb...
    毛宇鹏阅读 37,114评论 5 339
  • 芬华大街上,宫洛潇风正和桑烟斗在一起。两人心中都憋着火气,出手毫不留情,长剑破空呼啸,留下银色的剑影和逼人的剑气,...
    溯月_Violet阅读 50评论 4 2