Flink local模式

96
苗栋栋
2017.11.19 22:07 字数 301

下载&&安装

Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是 Java 1.7.x或更高版本。接下来的指南假定是类Unix环境,Windows用户请移步到Flink on Windows

安装Java 7.x(or higher)

java -version
#If you have Java 8, the output will look something like this:
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)

下载flink程序,下载方式移步到下载页

如果只是跑本地模式,那么我们可以用任何一个版本。
比如:我们选用:flink-1.2.0-bin-hadoop2-scala_2.10.tgz

wget http://archive.apache.org/dist/flink/flink-1.2.0/flink-1.2.0-bin-hadoop2-scala_2.10.tgz
cd ~/Downloads # Go to download directory
tar xzf flink-*.tgz # Unpack the downloaded archive
cd flink-1.2.0

Local 模式

启动

./bin/start-local.sh

打开http://localhost:8081 可以看到一个flink运行信息的界面。如果能打开,则说明启动ok。

当然,我们也可以通过日志来确定是不是启动ok了。

$ tail log/flink-*-jobmanager-*.log
INFO ... - Starting JobManager
INFO ... - Starting JobManager web frontend
INFO ... - Web frontend listening at 127.0.0.1:8081
INFO ... - Registered TaskManager at 127.0.0.1 (akka://flink/user/taskmanager)

如果你遇到端口被占用的情况,打开conf/flink-conf.yaml
找到如下代码改成其他端口即可。

jobmanager.web.port: 8081

运行demo

batch

./bin/flink run examples/batch/WordCount.jar

streaming

./bin/flink run examples/streaming/WordCount.jar --output ./wc.txt

打开wc.txt就可以看到执行结果了。

当然,我们也可以指定输入输出,比如

./bin/flink run examples/streaming/WordCount.jar --input input.txt --output wc.txt

ps: wordcount源码:java on github.

文章参考

flink