四种优化ApacheFlink应用程序的方法.pdf

四种优化 Apache Flink 应用程序的方法 Spark大数据博客 - 四种优化 Apache Flink 应用程序的方法 Flink 是一种非常复杂的框架，它提供了多种调整其执行的方法。本文将介绍四种不同的方法来提 升你的 Flink 应用程序的性能。 使用 Flink Tuples 当你使用类似于 groupBy, join, 或者 keyBy 算子时，Flink 提供了多种用于在你的数据集上选择 key 的方法。你可以使用 key 选择函数，如下： // Join movies and ratings datasets movies.join(ratings) // Use movie id as a key in both cases .where(new KeySelectorMovie, String() { @Override public String getKey(Movie m) throws Exception { return m.getId(); } }) .equalTo(new KeySelectorRating, String() { @Override public String getKey(Rating r) throws Exception { return r.getMovieId(); } }) 你甚至可以指定 POJO 类型中一个 field 的名字： movies.join(ratings) // Use same fields as in the previous example .where(id) .equalTo(movieId) 但是如果你现在使用的是 Flink 元组类型（tuple types）的数据，你可以简单地指定将要作为 key 的字段在元组中的位置： DataSetTuple2String, String movies = ... 1 / 7 四种优化 Apache Flink 应用程序的方法 Spark大数据博客 - DataSetTuple3String, String, Double ratings = ... movies.join(ratings) // Specify fields positions in tuples .where(0) .equalTo(1) 这种方法在 Flink 中将会获得最佳的性能，但是可读性方面呢？这是不是意味着你的代码看起来像下面那样： DataSetTuple3Integer, String, Double result = movies.join(ratings) .where(0) .equalTo(0) .with(new JoinFunctionTuple2Integer,String, Tuple2Integer,Double, Tuple3Integer, String, Double() { // What is happening here? @Override public Tuple3Integer, String, Double join(Tuple2Integer, String first, Tuple2Integer, Double second) throws Exception { // Some tuples are joined with some other tuples and some fields are returned??? return new Tuple3(first.f0, first.f1, second.f1); } }); 如果想及时了 解Spark