王家林spark语录第一季版.pdfVIP

****************Spark 第一季完整版***************** 王家林每日大数据 Spark Streaming 篇 0129 （2016.4.14 于 ）:Spark 使用 Kakafa 时候可以产生Zero-Copy ，此时Consumer 从Broker 获取文件数据的时候，直接进行 Channel 到 Channel 数据传输是直接在内核态进行的，避免拷贝数据导致的内核态和用户态的多次切换， 极大的提升了效率。 王家林每日大数据 Spark Streaming 篇0128 （2016.4.14 于 ）:Spark Streaming 中通过 textFileStream 方式非常适合于例如 HDFS 中的某个文件夹下是文件并进行计 算，这在实际系统 中是非常重要和常见的应用。 王家林每日大数据 Spark Streaming 篇0128 （2016.4.14 于 ）:Spark Streaming 中通过 textFileStream 方式非常适合于例如 HDFS 中的某个文件夹下是文件并进行计 算，这在实际系统 中是非常重要和常见的应用。 王家林每日大数据 Spark Streaming 篇0127 （2016.4.13 于 ）:Spark Streaming 中Receiver#onStart 中一般会新建线程或线程池来接收数据，例如在KafkaReceiver 中是 通过创建线程池方式来接收 Kafka 中的Topics 数据的。 王家林每日大数据 Spark Streaming 篇0126 （2016.4.13 于 ）:Spark Streaming 中ReceiverTracker#start ()初始化一个 endpoint:ReceiverTrackerEndpoint，用来接收 和处理来自 ReceiverTracker 和分布式的Receivers 发送的消息，例如处理 StartAllReceivers、UpdateReceiverRa imit 等。 王家林每日大数据 Spark Streaming 篇0125 （2016.4.13 于 ）:Spark Streaming 中用户可以自由继承 ReceiverInputDStream 并自定义相应的 Receiver，就是 Spark Streaming 能兼容众多数据源的原因，例如对于 KafkaInputDStream 继承了 ReceiverInputStream 且自定义了KafkaReceiver，这样Spark Streaming Application 就 可以从 Kafka 获取数据了。 王家林每日大数据 Spark Streaming 篇0124 （2016.4.13 于 ）:Spark Streaming 中按照BatchDuration 的设置的时间JobGenerator 会调用generateJobs 方法来生成并提交 Jobs，然后调用 doCheckpoint 方法来进行 checkpoint。在doCheckpoint 方法中会判断 当前时间与 Streaming Application 启动的时间之差是 Checkpoint Duration 倍数情况下 就进行 Checkpoint 操作。 王家林每日大数据 Spark Streaming 篇0123 （2016.4.13 于 ）:Spark Streaming 中随着 Streaming Application 的持续运行Checkpoint 数据占用的 空间会不断变大。 因此，设置 Checkpoint 的时间间隔变得非常重要，设置得越小此时 Checkpoint 次数会越 多，占用空间会越大；如果设置越大则会导致恢复时丢失的数据和进度越多。一般吧 CheckPoint 的时间设置为Batch duration 的5 到10 倍； 王家林每日大数据 Spark Streaming 篇 0122 （2016.4.13 于 ）:Spark Streaming 操作中如果使用例如 updateStateByKey、reduceByKeyAndWindow 等Stateful 操作，就必 须提供 checkpoint 来允许定时的 RDD checkpoint 操作。 王家林每日