原创力文档- 1、本文档共5页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
Flink四种选择Key的方法.PDF
Flink四种选择Key的方法
Spark大数据博客 -
Flink四种选择Key的方法
在Flink中有许多函数需要我们为其指定key，比如groupBy，Join中的where等。如果我们指定的K
ey不对，可能会出现一些问题，正如下面的程序：
package com.iteblog.flink
import org.apache.flink.api.scala.{ExecutionEnvironment, _}
import org.apache.flink.util.Collector
/////////////////////////////////////////////////////////////////////
User: 过往记忆
Date: 2017-03-13
Time: 22:59
bolg:
本文地址：/archives/2069
过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量的干货
过往记忆博客微信公共帐号：iteblog_hadoop
/////////////////////////////////////////////////////////////////////
object GroupCombine {
def main(args: Array[String]): Unit = {
val env = ExecutionEnvironment.getExecutionEnvironment
val input: DataSet[String] = env.fromElements(a, b, c, a)
val combinedWords: DataSet[(String, Int)] = input
.groupBy(0)
.combineGroup {
(words, out: Collector[(String, Int)]) =
var key: String = null
var count = 0
for (word - words) {
key = word
count += 1
}
out.collect((key, count))
}
combinedWords.print()
}
}
1 / 5
Flink四种选择Key的方法
Spark大数据博客 -
上面的代码没有任何语法错误，但是我们编译运行这个程序，就会出现以下的异常信息：
Exception in thread main mon.InvalidProgramException: Specifying
keys via field positions is only valid for tuple data types. Type: String
at mon.operators.Keys$ExpressionKeys.init(Keys.java:232)
at mon.operators.Keys$ExpressionKeys.init(Keys.java:223)
at org.apache.flink.api.scala.DataSet.groupBy(DataSet.scala:875)
at com.iteblog.flink.GroupCombine$.main(GroupCombine.scala:14)
at com.iteblog.flink.GroupCombine.main(GroupCombine.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:
文档评论（0）