什么是消息隊列？

sourcenode 發(fā)布于2019-08-19 11:37 / 1679人閱讀

摘要：系統(tǒng)拿不再經(jīng)過系統(tǒng)，而是從消息隊列里邊拿。高可用無論是我們使用消息隊列來做解耦異步還是削峰，消息隊列肯定不能是單機(jī)的。最后本文主要講解了什么是消息隊列，消息隊列可以為我們帶來什么好處，以及一個消息隊列可能會涉及到哪些問題。

前言

只有光頭才能變強(qiáng)。

文本已收錄至我的GitHub倉庫，歡迎Star：https://github.com/ZhongFuCheng3y/3y

公司用到的很多技術(shù)，自己之前都沒學(xué)過(尬)，于是只能慢慢補(bǔ)了。這次給大家寫寫我學(xué)習(xí)消息隊列的筆記，希望對大家有幫助。

一、什么是消息隊列？

消息隊列不知道大家看到這個詞的時候，會不會覺得它是一個比較高端的技術(shù)，反正我是覺得它好像是挺牛逼的。

消息隊列，一般我們會簡稱它為MQ(Message Queue)，嗯，就是很直白的簡寫。

我們先不管消息(Message)這個詞，來看看隊列(Queue)。這一看，隊列大家應(yīng)該都熟悉吧。

隊列是一種先進(jìn)先出的數(shù)據(jù)結(jié)構(gòu)。

在Java里邊，已經(jīng)實現(xiàn)了不少的隊列了：

那為什么還需要消息隊列(MQ)這種中間件呢？？？其實這個問題，跟之前我學(xué)Redis的時候很像。Redis是一個以key-value形式存儲的內(nèi)存數(shù)據(jù)庫，明明我們可以使用類似HashMap這種實現(xiàn)類就可以達(dá)到類似的效果了，那還為什么要Redis？《Redis合集》

到這里，大家可以先猜猜為什么要用消息隊列(MQ)這種中間件，下面會繼續(xù)補(bǔ)充。

消息隊列可以簡單理解為：把要傳輸?shù)臄?shù)據(jù)放在隊列中。

)

科普：

把數(shù)據(jù)放到消息隊列叫做生產(chǎn)者

從消息隊列里邊取數(shù)據(jù)叫做消費者

二、為什么要用消息隊列？

為什么要用消息隊列，也就是在問：用了消息隊列有什么好處。我們看看以下的場景

2.1 解耦

現(xiàn)在我有一個系統(tǒng)A，系統(tǒng)A可以產(chǎn)生一個userId

然后，現(xiàn)在有系統(tǒng)B和系統(tǒng)C都需要這個userId去做相關(guān)的操作

寫成偽代碼可能是這樣的：

public class SystemA {

    // 系統(tǒng)B和系統(tǒng)C的依賴
    SystemB systemB = new SystemB();
    SystemC systemC = new SystemC();

    // 系統(tǒng)A獨有的數(shù)據(jù)userId
    private String userId = "Java3y";

    public void doSomething() {

        // 系統(tǒng)B和系統(tǒng)C都需要拿著系統(tǒng)A的userId去操作其他的事
        systemB.SystemBNeed2do(userId);
        systemC.SystemCNeed2do(userId);
        
    }
}

結(jié)構(gòu)圖如下：

ok，一切平安無事度過了幾個天。

某一天，系統(tǒng)B的負(fù)責(zé)人告訴系統(tǒng)A的負(fù)責(zé)人，現(xiàn)在系統(tǒng)B的SystemBNeed2do(String userId)這個接口不再使用了，讓系統(tǒng)A別去調(diào)它了。

于是，系統(tǒng)A的負(fù)責(zé)人說"好的，那我就不調(diào)用你了。"，于是就把調(diào)用系統(tǒng)B接口的代碼給刪掉了：

public void doSomething() {

  // 系統(tǒng)A不再調(diào)用系統(tǒng)B的接口了
  //systemB.SystemBNeed2do(userId);
  systemC.SystemCNeed2do(userId);

}

又過了幾天，系統(tǒng)D的負(fù)責(zé)人接了個需求，也需要用到系統(tǒng)A的userId，于是就跑去跟系統(tǒng)A的負(fù)責(zé)人說："老哥，我要用到你的userId，你調(diào)一下我的接口吧"

于是系統(tǒng)A說："沒問題的，這就搞"

然后，系統(tǒng)A的代碼如下：

public class SystemA {

    // 已經(jīng)不再需要系統(tǒng)B的依賴了
    // SystemB systemB = new SystemB();
    
    // 系統(tǒng)C和系統(tǒng)D的依賴
    SystemC systemC = new SystemC();
    SystemD systemD = new SystemD();

    // 系統(tǒng)A獨有的數(shù)據(jù)
    private String userId = "Java3y";

    public void doSomething() {

       
        // 已經(jīng)不再需要系統(tǒng)B的依賴了
        //systemB.SystemBNeed2do(userId);

        // 系統(tǒng)C和系統(tǒng)D都需要拿著系統(tǒng)A的userId去操作其他的事
        systemC.SystemCNeed2do(userId);
        systemD.SystemDNeed2do(userId);

    }
}

時間飛逝：

又過了幾天，系統(tǒng)E的負(fù)責(zé)人過來了，告訴系統(tǒng)A，需要userId。

又過了幾天，系統(tǒng)B的負(fù)責(zé)人過來了，告訴系統(tǒng)A，還是重新掉那個接口吧。

又過了幾天，系統(tǒng)F的負(fù)責(zé)人過來了，告訴系統(tǒng)A，需要userId。

…...

于是系統(tǒng)A的負(fù)責(zé)人，每天都被這給騷擾著，改來改去，改來改去.......

還有另外一個問題，調(diào)用系統(tǒng)C的時候，如果系統(tǒng)C掛了，系統(tǒng)A還得想辦法處理。如果調(diào)用系統(tǒng)D時，由于網(wǎng)絡(luò)延遲，請求超時了，那系統(tǒng)A是反饋fail還是重試？？

最后，系統(tǒng)A的負(fù)責(zé)人，覺得隔一段時間就改來改去，沒意思，于是就跑路了。

然后，公司招來一個大佬，大佬經(jīng)過幾天熟悉，上來就說：將系統(tǒng)A的userId寫到消息隊列中，這樣系統(tǒng)A就不用經(jīng)常改動了。為什么呢？下面我們來一起看看：

系統(tǒng)A將userId寫到消息隊列中，系統(tǒng)C和系統(tǒng)D從消息隊列中拿數(shù)據(jù)。這樣有什么好處？

系統(tǒng)A只負(fù)責(zé)把數(shù)據(jù)寫到隊列中，誰想要或不想要這個數(shù)據(jù)(消息)，系統(tǒng)A一點都不關(guān)心。

即便現(xiàn)在系統(tǒng)D不想要userId這個數(shù)據(jù)了，系統(tǒng)B又突然想要userId這個數(shù)據(jù)了，都跟系統(tǒng)A無關(guān)，系統(tǒng)A一點代碼都不用改。

系統(tǒng)D拿userId不再經(jīng)過系統(tǒng)A，而是從消息隊列里邊拿。系統(tǒng)D即便掛了或者請求超時，都跟系統(tǒng)A無關(guān)，只跟消息隊列有關(guān)。

這樣一來，系統(tǒng)A與系統(tǒng)B、C、D都解耦了。

2.2 異步

我們再來看看下面這種情況：系統(tǒng)A還是直接調(diào)用系統(tǒng)B、C、D

代碼如下：

public class SystemA {

    SystemB systemB = new SystemB();
    SystemC systemC = new SystemC();
    SystemD systemD = new SystemD();

    // 系統(tǒng)A獨有的數(shù)據(jù)
    private String userId ;

    public void doOrder() {
     
        // 下訂單
          userId = this.order();
        // 如果下單成功，則安排其他系統(tǒng)做一些事  
        systemB.SystemBNeed2do(userId);
        systemC.SystemCNeed2do(userId);
        systemD.SystemDNeed2do(userId);

    }
}

假設(shè)系統(tǒng)A運算出userId具體的值需要50ms，調(diào)用系統(tǒng)B的接口需要300ms，調(diào)用系統(tǒng)C的接口需要300ms，調(diào)用系統(tǒng)D的接口需要300ms。那么這次請求就需要50+300+300+300=950ms

并且我們得知，系統(tǒng)A做的是主要的業(yè)務(wù)，而系統(tǒng)B、C、D是非主要的業(yè)務(wù)。比如系統(tǒng)A處理的是訂單下單，而系統(tǒng)B是訂單下單成功了，那發(fā)送一條短信告訴具體的用戶此訂單已成功，而系統(tǒng)C和系統(tǒng)D也是處理一些小事而已。

那么此時，為了提高用戶體驗和吞吐量，其實可以異步地調(diào)用系統(tǒng)B、C、D的接口。所以，我們可以弄成是這樣的：

系統(tǒng)A執(zhí)行完了以后，將userId寫到消息隊列中，然后就直接返回了(至于其他的操作，則異步處理)。

本來整個請求需要用950ms(同步)

現(xiàn)在將調(diào)用其他系統(tǒng)接口異步化，只需要100ms(異步)

(例子可能舉得不太好，但我覺得說明到點子上就行了，見諒。)

2.3削峰/限流

我們再來一個場景，現(xiàn)在我們每個月要搞一次大促，大促期間的并發(fā)可能會很高的，比如每秒3000個請求。假設(shè)我們現(xiàn)在有兩臺機(jī)器處理請求，并且每臺機(jī)器只能每次處理1000個請求。

那多出來的1000個請求，可能就把我們整個系統(tǒng)給搞崩了...所以，有一種辦法，我們可以寫到消息隊列中：

系統(tǒng)B和系統(tǒng)C根據(jù)自己的能夠處理的請求數(shù)去消息隊列中拿數(shù)據(jù)，這樣即便有每秒有8000個請求，那只是把請求放在消息隊列中，去拿消息隊列的消息由系統(tǒng)自己去控制，這樣就不會把整個系統(tǒng)給搞崩。

三、使用消息隊列有什么問題？

經(jīng)過我們上面的場景，我們已經(jīng)可以發(fā)現(xiàn)，消息隊列能做的事其實還是蠻多的。

說到這里，我們先回到文章的開頭，"明明JDK已經(jīng)有不少的隊列實現(xiàn)了，我們還需要消息隊列中間件呢？"其實很簡單，JDK實現(xiàn)的隊列種類雖然有很多種，但是都是簡單的內(nèi)存隊列。為什么我說JDK是簡單的內(nèi)存隊列呢？下面我們來看看要實現(xiàn)消息隊列(中間件)可能要考慮什么問題。

3.1高可用

無論是我們使用消息隊列來做解耦、異步還是削峰，消息隊列肯定不能是單機(jī)的。試著想一下，如果是單機(jī)的消息隊列，萬一這臺機(jī)器掛了，那我們整個系統(tǒng)幾乎就是不可用了。

所以，當(dāng)我們項目中使用消息隊列，都是得集群/分布式的。要做集群/分布式就必然希望該消息隊列能夠提供現(xiàn)成的支持，而不是自己寫代碼手動去實現(xiàn)。

3.2 數(shù)據(jù)丟失問題

我們將數(shù)據(jù)寫到消息隊列上，系統(tǒng)B和C還沒來得及取消息隊列的數(shù)據(jù)，就掛掉了。如果沒有做任何的措施，我們的數(shù)據(jù)就丟了。

學(xué)過Redis的都知道，Redis可以將數(shù)據(jù)持久化磁盤上，萬一Redis掛了，還能從磁盤從將數(shù)據(jù)恢復(fù)過來。同樣地，消息隊列中的數(shù)據(jù)也需要存在別的地方，這樣才盡可能減少數(shù)據(jù)的丟失。

那存在哪呢？

磁盤？

數(shù)據(jù)庫？

Redis？

分布式文件系統(tǒng)？

同步存儲還是異步存儲？

3.3消費者怎么得到消息隊列的數(shù)據(jù)？

消費者怎么從消息隊列里邊得到數(shù)據(jù)？有兩種辦法：

生產(chǎn)者將數(shù)據(jù)放到消息隊列中，消息隊列有數(shù)據(jù)了，主動叫消費者去拿(俗稱push)

消費者不斷去輪訓(xùn)消息隊列，看看有沒有新的數(shù)據(jù)，如果有就消費(俗稱pull)

3.4其他

除了這些，我們在使用的時候還得考慮各種的問題：

消息重復(fù)消費了怎么辦啊？

我想保證消息是絕對有順序的怎么做？

……..

雖然消息隊列給我們帶來了那么多的好處，但同時我們發(fā)現(xiàn)引入消息隊列也會提高系統(tǒng)的復(fù)雜性。市面上現(xiàn)在已經(jīng)有不少消息隊列輪子了，每種消息隊列都有自己的特點，選取哪種MQ還得好好斟酌。

最后

本文主要講解了什么是消息隊列，消息隊列可以為我們帶來什么好處，以及一個消息隊列可能會涉及到哪些問題。希望給大家?guī)硪欢ǖ膸椭?/p>

參考資料：

Kafka簡明教程

https://zhuanlan.zhihu.com/p/37405836

消息隊列使用的四種場景介紹，有圖有解析，一看就懂

https://zhuanlan.zhihu.com/p/55712984

消息隊列設(shè)計精要

https://zhuanlan.zhihu.com/p/21479556

消息隊列的使用場景是怎樣的

https://www.zhihu.com/question/34243607

樂于輸出干貨的Java技術(shù)公眾號：Java3y。公眾號內(nèi)有200多篇原創(chuàng)技術(shù)文章、海量視頻資源、精美腦圖，不妨來關(guān)注一下！

覺得我的文章寫得不錯，不妨點一下贊！

GPU云服務(wù)器云服務(wù)器消息隊列是什么什么是消息隊列什么是php消息隊列阿里消息隊列用的什么

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/77567.html

發(fā)表評論

登陸后可評論

0條評論

sourcenode

男|高級講師

我要關(guān)注我要私信

TA的文章

ubuntu安裝tensorflow

閱讀 3522·2023-04-25 14:57
#yyds干貨盤點#設(shè)計模式之【單例模式】

閱讀 2569·2021-11-22 14:56
易探云：金秋上云節(jié),香港/美國/韓國云服務(wù)器最低9元;香港物理機(jī)/虛擬主機(jī)優(yōu)惠促銷

閱讀 2092·2021-09-29 09:45
有個云主機(jī)可以做什么-云主機(jī)能做什么？

閱讀 1775·2021-09-22 15:53
Virtono：夏季促銷，年付5折€23.7/年起，洛杉磯/達(dá)拉斯/紐約/羅馬尼亞等

閱讀 3325·2021-08-25 09:41
css百分比總結(jié)，自適應(yīng)布局

閱讀 907·2019-08-29 15:22
聽說2017你想寫前端？

閱讀 3299·2019-08-29 13:22
前端web網(wǎng)站上中（左右）下布局(flex、calc)

閱讀 3130·2019-08-29 13:08

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

什么是消息隊列？

相關(guān)文章

【備戰(zhàn)春招/秋招系列】美團(tuán)Java面經(jīng)總結(jié)進(jìn)階篇（附詳解答案）

消息隊列筆記

新手也能看懂，消息隊列其實很簡單

消息中間件——RabbitMQ（三）理解RabbitMQ核心概念和AMQP協(xié)議！

發(fā)表評論

0條評論

sourcenode

男|高級講師

TA的文章

ubuntu安裝tensorflow

#yyds干貨盤點#設(shè)計模式之【單例模式】

易探云：金秋上云節(jié),香港/美國/韓國云服務(wù)器最低9元;香港物理機(jī)/虛擬主機(jī)優(yōu)惠促銷

有個云主機(jī)可以做什么-云主機(jī)能做什么？

Virtono：夏季促銷，年付5折€23.7/年起，洛杉磯/達(dá)拉斯/紐約/羅馬尼亞等

css百分比總結(jié)，自適應(yīng)布局

聽說2017你想寫前端？

前端web網(wǎng)站上中（左右）下布局(flex、calc)

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

什么是消息隊列？

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！