SparkStreaming读取Socket数据实例注意事项.pptx

SparkStreaming读取Socket数据注意事项 1.了解SparkStreaming读取Socket数据注意事项. SparkStreaming读取Socket数据注意事项01 注意事项-1在SparkStreaming读取Socket数据实时统计单词个数的代码中注意事项“conf.setMaster(“local[2]”)”：设置的是Spark运行的模式，Spark的运行模式常用的有四种，分别为“local”、“standalone”、“yarn”、“mesos”,设置local是指在本地运行代码。如果想要在集群中运行SparkStreaming程序，可以将代码打包提交到standalone,yarn,mesos 资源调度框架上。设置“local[2]”的目的是指使用两个线程来模拟本地SparkSteaming程序的运行，一个线程用来接收socket中的数据，一个线程用来处理生成的Dstream的逻辑。后期我们会在Yarn提交SparkStreaming应用程序。 注意事项-2在SparkStreaming读取Socket数据实时统计单词个数的代码中注意事项l “Durations.seconds(5)”:设置的是batchInterval的时长，指的是将多久的数据生成一批次做一次处理。这个时长需要结合webUI来调节使用。如果观察webUI中发现batchInterval的时间小于了集群处理一批次数据的时间，说明接收数据快，集群处理数据慢，我们可以将batchInterval减少一些，减少读入的数据量。如果发现batchInterval的时间大于了处理一批次数据的时间，说明接收数据慢，集群处理数据快，我们可以增大batchInterval的时长，接收多一些的数据供集群处理。 注意事项-3在SparkStreaming读取Socket数据实时统计单词个数的代码中注意事项flatMap、map、reduceByKey、print：以上这些Dstream的方法我们叫做Dstream的算子，下个小节会详细做介绍，这里主要是对数据进行打印和展示。 注意事项-4在SparkStreaming读取Socket数据实时统计单词个数的代码中注意事项“ssc.start()”:SparkStreaming程序需要调用start方法启动，启动之后不能再添加新的业务逻辑。 注意事项-5在SparkStreaming读取Socket数据实时统计单词个数的代码中注意事项“ssc.awaitTermination()”:当调用SparkStreaming的awaitTermination()方法后，SparkStreaming程序才真正启动，才会一直接收数据，然后将每批次接收数据进行业务处理，然后再进行下一批次数据的业务处理，周而复始，只要程序代码没有问题，人为不停止SparkStreaming程序，则程序永远不会停止。 SparkStreaming读取Socket数据注意事项