關于MQ的幾件小事（七）如果讓你設計一個MQ，你怎么設計

Vixb 發布于2019-05-23 17:29 / 1444人閱讀

摘要：能不能支持數據丟失啊可以的，參考我們之前說的那個數據零丟失方案其實一個肯定是很復雜的，其實這是個開放題，就是看看你有沒有從架構角度整體構思和設計的思維以及能力。

其實回答這類問題，說白了，起碼不求你看過那技術的源碼，起碼你大概知道那個技術的基本原理，核心組成部分，基本架構構成，然后參照一些開源的技術把一個系統設計出來的思路說一下就好

比如說這個消息隊列系統，我們來從以下幾個角度來考慮一下

（1）首先這個mq得支持可伸縮性吧，就是需要的時候快速擴容，就可以增加吞吐量和容量，那怎么搞？設計個分布式的系統唄，參照一下kafka的設計理念，broker -> topic -> partition，每個partition放一個機器，就存一部分數據。如果現在資源不夠了，簡單啊，給topic增加partition，然后做數據遷移，增加機器，不就可以存放更多數據，提供更高的吞吐量了？

（2）其次你得考慮一下這個mq的數據要不要落地磁盤吧？那肯定要了，落磁盤，才能保證別進程掛了數據就丟了。那落磁盤的時候怎么落啊？順序寫，這樣就沒有磁盤隨機讀寫的尋址開銷，磁盤順序讀寫的性能是很高的，這就是kafka的思路。

（3）其次你考慮一下你的mq的可用性??？這個事兒，具體參考我們之前可用性那個環節講解的kafka的高可用保障機制。多副本 -> leader & follower -> broker掛了重新選舉leader即可對外服務。

（4）能不能支持數據0丟失??？可以的，參考我們之前說的那個kafka數據零丟失方案

其實一個mq肯定是很復雜的，其實這是個開放題，就是看看你有沒有從架構角度整體構思和設計的思維以及能力。

如果你還不清楚，請參考前面幾篇
《消息隊列的用途、優缺點、技術選型》
《如何保證消息隊列的高可用》
《如何保證消息不重復消費》
《如何防止數據隊列數據丟失》
《如何保證消息按順序執行》
《消息積壓在消息隊列里怎么辦》

GPU云服務器云服務器關于ai設計的比賽關于網站設計的網站關于匯編語言程序設計怎樣設計一個網站

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/7305.html

關于MQ的幾件小事（六）消息積壓在消息隊列里怎么辦

摘要：緊接著征用倍的機器來部署，每一批消費一個臨時的消息。這種做法相當于臨時將資源和資源擴大倍，以正常速度的倍來消費消息。解決方案這種情況下，實際上沒有什么消息擠壓，而是丟了大量的消息。 1.大量消息在mq里積壓了幾個小時了還沒解決場景：幾千萬條數據在MQ里積壓了七八個小時，從下午4點多，積壓到了晚上很晚，10點多，11點多。線上故障了，這個時候要不然就是修復consumer的問題，讓他恢復消...

SwordFly 2019-05-23 17:32 評論0 收藏0
關于MQ的幾件小事（一）消息隊列的用途、優缺點、技術選型

摘要：數量對吞吐量的影響可以達到幾百幾千個的級別，吞吐量會有小幅度的下降。這是的一大優勢，可在同等數量機器下支撐大量的從幾十個到幾百個的時候，吞吐量會大幅下降。下一篇如何保證消息隊列的高可用 1.為什么使用消息隊列？（1）解耦：可以在多個系統之間進行解耦，將原本通過網絡之間的調用的方式改為使用MQ進行消息的異步通訊，只要該操作不是需要同步的，就可以改為使用MQ進行不同系統之間的聯系，這樣項目之間...

xialong 2019-05-23 16:25 評論0 收藏0
關于MQ的幾件小事（五）如何保證消息按順序執行

摘要：一個對應一個，但是里面進行了多線程消費，這樣也會造成消息消費順序錯誤。保證消息的消費順序拆分多個，每個一個，就是多一些而已，確實是麻煩點這樣也會造成吞吐量下降，可以在消費者內部采用多線程的方式取消費。 1.為什么要保證順序消息隊列中的若干消息如果是對同一個數據進行操作，這些操作具有前后的關系，必須要按前后的順序執行，否則就會造成數據異常。舉例：比如通過mysql binlog進行兩個數據...

h9911 2019-05-23 16:28 評論0 收藏0
關于MQ的幾件小事（四）如何保證消息不丟失

摘要：消費端弄丟了數據關閉自動提交，在自己處理完畢之后手動提交，這樣就不會丟失數據。弄丟了數據一般要求設置個參數來保證消息不丟失給設置參數這個值必須大于，表示要求每個必須至少有個副本。上一篇如何保證消息不重復消費下一篇如何保證消息按順序執行 1.mq原則數據不能多，也不能少，不能多是說消息不能重復消費，這個我們上一節已解決；不能少，就是說不能丟失數據。如果mq傳遞的是非常核心的消息，支撐核心的業...

stackvoid 2019-05-23 16:26 評論0 收藏0
史上最全阿里 Java 面試題總結

摘要：以下為大家整理了阿里巴巴史上最全的面試題，涉及大量面試知識點和相關試題。的內存結構，和比例。多線程多線程的幾種實現方式，什么是線程安全。點擊這里有一套答案版的多線程試題。線上系統突然變得異常緩慢，你如何查找問題。以下為大家整理了阿里巴巴史上最全的 Java 面試題，涉及大量 Java 面試知識點和相關試題。 JAVA基礎 JAVA中的幾種基本數據類型是什么，各自占用多少字節。 S...

winterdawn 2019-08-19 11:02 評論0 收藏0