Java单机 Docker 搭建 Flink

简介

这篇文章将教会你如何通过 Docker 在本地搭建一个 Java 单机的 Flink 环境。我们将使用 Docker 来快速搭建 Flink 集群，并使用 Java 开发 Flink 应用程序。

搭建流程

下面是搭建 Java 单机 Docker Flink 环境的步骤：

接下来，我们将详细介绍每个步骤需要做的事情和相应的代码。

步骤 1 - 安装 Docker

首先，你需要在本地机器上安装 Docker。根据你的操作系统，你可以参考 Docker 的官方文档进行安装。

步骤 2 - 下载 Flink 镜像

在终端中运行以下命令来下载 Flink 的 Docker 镜像：

docker pull flink:latest

这将下载最新版本的 Flink 镜像到你的本地机器。

步骤 3 - 启动 Flink 容器

现在，我们将启动一个 Flink 容器来搭建我们的 Flink 环境。在终端中运行以下命令：

docker run --name flink-container -p 8081:8081 -t flink:latest

这将启动一个名为 flink-container 的容器，并将容器的 8081 端口映射到本地机器的 8081 端口。这个端口将用于访问 Flink 的 Web UI。

步骤 4 - 开发 Flink 应用程序

在这一步中，你需要开发一个简单的 Flink 应用程序。你可以使用任何你喜欢的 Java 开发工具，例如 Intellij IDEA 或 Eclipse。

以下是一个简单的 Flink Word Count 应用程序的示例代码：

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class WordCount {

    public static void main(String[] args) throws Exception {
        // 创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 创建输入流
        DataStream<String> text = env.fromElements(
                "Hello Flink",
                "Flink is awesome",
                "Hello World"
        );

        // 执行 Word Count
        DataStream<Tuple2<String, Integer>> counts = text
                .flatMap(new Tokenizer())
                .keyBy(0)
                .sum(1);

        // 输出结果到控制台
        counts.print();

        // 执行任务
        env.execute("WordCount");
    }

    public static final class Tokenizer implements FlatMapFunction<String, Tuple2<String, Integer>> {
        @Override
        public void flatMap(String value, Collector<Tuple2<String, Integer>> out) {
            // 分割单词
            String[] words = value.toLowerCase().split("\\W+");

            // 发出每个单词的计数
            for (String word : words) {
                if (word.length() > 0) {
                    out.collect(new Tuple2<>(word, 1));
                }
            }
        }
    }
}

在这个例子中，我们实现了一个简单的 Word Count 应用程序。首先，我们创建了一个输入流，然后将其进行拆分和计数，最后将结果打印到控制台。

步骤 5 - 打包并提交 Flink 应用程序

在这一步中，你需要将你的应用程序打包为一个可执行的 JAR 文件，并将其提交给 Flink 集群。

首先，在你的开发工具中构建你的应用程序，并生成一个可执行的 JAR 文件。

然后，使用以下命令将 JAR 文件提交给 Flink 容器：

docker cp <your-jar-file> flink-container:/job.jar