第83课：用Scala及Java二种方式实战Spark Streaming开发.pdfVIP

第 83 课：用 Scala 和 Java 二种方式实战 Spark Streaming 开发 编写人：李林贵、姜伟 一、 Java 方式开发 1、开发前准备：假定您以搭建好了 Spark 集群。 2、开发环境采用 eclipse maven 工程 ，需要添加Spark Streaming 依赖。 3、Spark streaming 基于 Spark Core 进行计算 ，需要注意事项： 设置本地 master ，如果指定local 的话，必须配置至少二条线程，也可通过 sparkconf 来设置，因为 Spark Streaming 应用程序在运行的时候，至少有一条线程用 于不断的循环接收数据，并且至少有一条线程用于处理接收的数据（否则的话无法有 线程用于处理数据），随着时间的推移，内存和磁盘都会不堪重负）。 温馨提示： 对于集群而言，每隔 Executor 一般肯定不只一个Thread ，那对于处理Spark Streaming 应用程序而言，每个 Executor 一般分配多少 core 比较合适？根据我们过去 的经验，5 个左右的 core 是最佳的（段子 ：分配为奇数个 core 的表现最佳 ，例如：分