NoSQL实时计算与消息队列基础.pdfVIP

实时计算基础课程的主要内容:

Kafka,消息队列,实时计算的基础框架架

Spark结构化流用于实时流计算

HBase,NoSQL实时查询

课程的概念和原理较多，希望大家集中注意力

消息队列-了解

基础概念

消息队列:

消息:数据、队列：是一种先进先

出的基础数据结构

消息队列：是一种可以让数据先进先出的基础架构。

实时计算基础课程的主要内容：

Kafka，消息队列，实时计算的基础框架

Spark结构化流用来做实时流计算

HBase，NoSQL实时查询

课程的概念原理比较多一些大家打起精神

消息队列-了解

基础概念

消息队列：

消息：数据、

队列：是一种先进先出的基础数据结构

消息队列：是一种可以让数据，先进先出的基础架构。

应用耦合:

如图，程序A向MySQL写入数据，如果直接写入的话，程序A和MySQL是强

耦合关系（直接发生联系能够互相影响）。

如果MySQL性能慢了，会影响到程序A的正常执行。

引入第，如上图，消息队列，将程序A的耦合关系，从MySQL转移

到消息队列上。

也就是将数据写入队列中，单独找一个程序B，慢慢从队列中取出来，

按照固定节奏写入MySQL。

一般消息队列，性能都是很强的。

异步处理

如上图，程序A，向MySQL写入数据，从原本的：写入一条成功后，才写

入下一条

变成了。只关心写入到队列即可，程序A只要写入队列，无需关心数据是

否进入MySQL

应用耦合：

如图，程序A向MySQL写入数据，如果直接写入的话，程序A和MySQL是

强耦合关系（直接发生联系能够互相影响）。

如果MySQL性能慢了，会影响到程序A的正常执行。

引入第，如上图，消息队列，将程序A的耦合关系，从MySQL转移

到消息队列上。

也就是将数据写入队列中，单独找一个程序B，慢慢从队列中取出来，

按照固定节奏写入MySQL

一般消息队列，性能都是很强的。

异步处理

如上图，程序A，向MySQL写入数据，从原本的：写入一条成功后，才

写入下一条

变成了。只关心写入到队列即可，程序A只要写入队列，无需关心数据

是否进入MySQL

消峰限流

主要在于数据量剧增的场景下。

比如双11的时候，系统变大，如果程序直接与后端如MySQL连接，

会因MySQL等后端的缓慢导致前端的缓慢。

将，统统都放到消息队列，这时消息队列就相当于泄洪区，等

下降时，再慢慢从队列中出来。

消息队列的2种工作模式

点对点

订阅发布

点对点

数据的发送者（生产者）将数据写入到队列中。

只能有1个数据的接收者（消费者）去拿到这个数据。

数据被拿走后，就从队列中删除了。

简单来说，我将数据放入队列，指定一个人来取，取走后队列内就会

删除它。

消峰限流

主要在于数据量剧增的场景下。

比如双11的时候，系统变大，如果程序直接和后端比如MySQL连

接，会因为MySQL等后端的缓慢导致前端的缓慢。

将，统统都放到消息队列，这个时候消息队列就相当于泄洪区

等下降的时候，慢慢从队列中出来。

消息队列的2种工作模式

点对点

订阅发布

点对点

数据的发送者（生产者）将数据写入到队列中。

只能有1个数据的接受者（消费者）去拿到这个数据。

数据被拿走后，就从队列中删除了。

简单来说。我放数据进队列，指定一个人来拿，拿走后队列内就删

除它

在队列中，可以划分出许多频道（），生产者可以向指定的频道发送

数据。

消费者可以从感的频道内取出数据。

一个频道可以有任意多的生产者数据，一个频道可以有任意多的消费

者来订阅它。

即将学习的Kafka就是发布订阅模式。

常见的消息队列

对于:RabbitMQ\ActiveMQ\MQ这三类，一般用于后端开发较多

（Java后端），因为这类产品的重点在于数据的准确性、一致性，在绝对

的海量数据下，性能不足。

在队列中，可以分出来许多的频道（），生产者可以向指定的频道

发送数据

消费者可以从感的频道内取出数据。

一个频道可以有任意多的生产者数据，一个频道可