摘要:分布式鎖實(shí)現(xiàn)方式前言目前幾乎很多大型網(wǎng)站及應(yīng)用都是分布式部署的,分布式場(chǎng)景中的數(shù)據(jù)一致性問題一直是一個(gè)比較重要的話題。基于數(shù)據(jù)庫實(shí)現(xiàn)分布式鎖基于緩存等實(shí)現(xiàn)分布式鎖基于實(shí)現(xiàn)分布式鎖。
前言
分布式鎖,是控制分布式系統(tǒng)之間同步訪問共享資源的一種方式
在分布式系統(tǒng)中,常常需要協(xié)調(diào)他們的動(dòng)作。如果不同的系統(tǒng)或是同一個(gè)系統(tǒng)的不同主機(jī)之間共享了一個(gè)或一組資源,那么訪問這些資源的時(shí)候,往往需要互斥來防止彼此干擾來保證一致性,在這種情況下,便需要使用到分布式鎖。
這里主要簡(jiǎn)單介紹三種方式:基于數(shù)據(jù)庫實(shí)現(xiàn)方式、基于redis實(shí)現(xiàn)方式、基于ZooKeeper實(shí)現(xiàn)方式。
場(chǎng)景舉例假設(shè)有一個(gè)進(jìn)程A,每小時(shí)準(zhǔn)點(diǎn)給用戶發(fā)送一條短信"Hello world",為了高可用,就必須在多臺(tái)機(jī)器上面部署多個(gè)進(jìn)程,避免宕機(jī)的情況;
假設(shè)部署在兩臺(tái)機(jī)器,那么問題來了,用戶每個(gè)小時(shí)就會(huì)收到兩條"Hello world",信息就重復(fù)了;
我們希望只發(fā)送一條"Hello world",那么就可以引入分布式鎖的概念了;
進(jìn)程A和進(jìn)程B發(fā)送短信前先去注冊(cè)一個(gè)鎖,假設(shè)進(jìn)程A搶到了鎖,進(jìn)程B就等待結(jié)果,如果發(fā)送成功了,那么B就放棄此次任務(wù),等待下一個(gè)小時(shí)。
問題的核心就在于怎么注冊(cè)鎖,檢查鎖的存在和注冊(cè)鎖是一個(gè)原子性操作,類似mysql的主鍵,存在則不能insert,就是說你不能把我的鎖覆蓋了,你得等著;
我們有多種方式可以實(shí)現(xiàn)分布式鎖,最簡(jiǎn)單的就是以每小時(shí)準(zhǔn)點(diǎn)這個(gè)時(shí)間作為主鍵,到mysql寫入一條數(shù)據(jù),利用數(shù)據(jù)庫來維持一致性。
為什么要使用分布式鎖我們?cè)陂_發(fā)應(yīng)用的時(shí)候,如果需要對(duì)某一個(gè)共享變量進(jìn)行多線程同步訪問的時(shí)候,可以使用我們學(xué)到的java多線程解決。
注意這是單機(jī)應(yīng)用,也就是所有的請(qǐng)求都會(huì)分配到當(dāng)前服務(wù)器的jvm內(nèi)部,然后映射為操作系統(tǒng)的線程進(jìn)行處理,而這個(gè)共享變量只是在這個(gè)jvm內(nèi)部的一塊內(nèi)存空間。
后來業(yè)務(wù)發(fā)展,需要做集群,一個(gè)應(yīng)用需要部署到幾臺(tái)機(jī)器上然后做負(fù)載均衡,大致如下圖:
上圖分析:
(1)變量A存在JVM1、JVM2、JVM3三個(gè)JVM內(nèi)存中(這個(gè)變量A主要體現(xiàn)是在一個(gè)類中的一個(gè)成員變量,是一個(gè)有狀態(tài)的對(duì)象),如果不加任何控制的話,變量A同時(shí)都會(huì)在JVM1、JVM2、JVM3中分配一塊內(nèi)存; (2)三個(gè)請(qǐng)求發(fā)過來同時(shí)對(duì)這個(gè)變量進(jìn)行操作,顯然結(jié)果是不同的。 (3)即使不是同時(shí)發(fā)過來,三個(gè)請(qǐng)求分別操作三個(gè)不同JVM內(nèi)存區(qū)域的數(shù)據(jù),變量A之間不存在共享,也不具有可見性,處理的結(jié)果也是不對(duì)的。 (4)如果我們業(yè)務(wù)中存在這種場(chǎng)景的話,我們就需要一種方法解決這個(gè)問題。
為了保證一個(gè)方法或者屬性在高并發(fā)情況下的同一時(shí)間只能被同一個(gè)線程執(zhí)行,在傳統(tǒng)單機(jī)應(yīng)用單機(jī)部署的情況下,可以使用java并發(fā)處理的相關(guān)API進(jìn)行互斥控制(如ReentrantLock或Synchronized)。
在單機(jī)環(huán)境中,java中提供了很多并發(fā)處理相關(guān)的API。
但是隨著業(yè)務(wù)發(fā)展的需要,原單體單機(jī)部署的系統(tǒng)被演化成分布式集群系統(tǒng)后,由于分布式系統(tǒng)多線程、多進(jìn)程并且分布在不同機(jī)器上,這將使原單機(jī)部署情況下的并發(fā)控制鎖策略失效,單純的java API并不能提供分布式鎖的能力。
為了解決這個(gè)問題,就需要一種跨JVM的互斥機(jī)制來控制共享資源的訪問,這就是分布式鎖要解決的問題。
分布式鎖應(yīng)該具備的條件在分布式系統(tǒng)環(huán)境下,一個(gè)方法在同一時(shí)間只能被一個(gè)機(jī)器的的一個(gè)線程執(zhí)行;
高可用的獲取鎖與釋放鎖;
高性能的獲取鎖與釋放鎖;
具備可重入特性;
具備鎖失效機(jī)制,防止死鎖;
具備非阻塞鎖特性,即沒有獲取到鎖將直接返回獲取鎖失敗。
分布式鎖實(shí)現(xiàn)方式-前言目前幾乎很多大型網(wǎng)站及應(yīng)用都是分布式部署的,分布式場(chǎng)景中的數(shù)據(jù)一致性問題一直是一個(gè)比較重要的話題。
分布式的CAP理論告訴我們,任何一個(gè)分布式系統(tǒng)都無法同時(shí)滿足一致性、可用性、和分區(qū)容錯(cuò)性,最多只能同時(shí)滿足兩項(xiàng)。
所以,很多系統(tǒng)在設(shè)計(jì)之初就對(duì)這三項(xiàng)做了取舍。在互聯(lián)網(wǎng)領(lǐng)域的絕大多數(shù)的場(chǎng)景中,都需要犧牲強(qiáng)一致性來換取系統(tǒng)的高可用性,系統(tǒng)往往只需要保證最終一致性,只要這個(gè)最終時(shí)間實(shí)在用戶可以接受的范圍內(nèi)即可。
在很多場(chǎng)景中,我們?yōu)槔WC數(shù)據(jù)的最終一致性,需要很多的技術(shù)方案來支持,比如分布式事務(wù)、分布式鎖等,有時(shí)候我們需要保證一個(gè)方法在同一個(gè)線程執(zhí)行。
基于數(shù)據(jù)庫實(shí)現(xiàn)分布式鎖;基于緩存redis等實(shí)現(xiàn)分布式鎖;基于Zookeeper實(shí)現(xiàn)分布式鎖。
基于數(shù)據(jù)庫的實(shí)現(xiàn)方式基于數(shù)據(jù)庫的實(shí)現(xiàn)方式核心思想:在數(shù)據(jù)庫中創(chuàng)建一個(gè)表,表中包含方法名等字段,并在方法名字段上創(chuàng)建唯一索引,想要執(zhí)行某個(gè)方法,就使用這個(gè)方法名向表中插入數(shù)據(jù),成功插入則獲取鎖,執(zhí)行完成后刪除對(duì)應(yīng)的行數(shù)據(jù)釋放鎖。
創(chuàng)建一個(gè)表:
DROP TABLE IF EXISTS `method_lock`; CREATE TABLE `method_lock` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT "主鍵", `method_name` varchar(64) NOT NULL COMMENT "鎖定的方法名", `desc` varchar(255) NOT NULL COMMENT "備注信息", `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY (`id`), UNIQUE KEY `uidx_method_name` (`method_name`) USING BTREE ) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 COMMENT=‘鎖定中的方法";
想要執(zhí)行某個(gè)方法,就使用這個(gè)方法名向表中插入數(shù)據(jù):
INSERT INTO method_lock (method_name, desc) VALUES ("methodName", ‘測(cè)試的methodName");
因?yàn)槲覀儗?duì)method_name做了唯一約束,這里如果有多個(gè)請(qǐng)求同時(shí)提交到數(shù)據(jù)庫的話,數(shù)據(jù)庫會(huì)保證只有一個(gè)操作可以成功,那么我們就可以認(rèn)為操作成功的那個(gè)線程獲得了該方法的鎖,可以執(zhí)行方法體內(nèi)容。
成功插入則獲取鎖,執(zhí)行完成后刪除對(duì)應(yīng)的行數(shù)據(jù)釋放鎖:
delete from method_lock where method_name ="methodName";
使用基于數(shù)據(jù)庫的這種實(shí)現(xiàn)方式很簡(jiǎn)單,但是對(duì)于分布式鎖應(yīng)該具備的條件來說,它有一些問題需要解決及優(yōu)化:
(1)因?yàn)槭腔跀?shù)據(jù)庫實(shí)現(xiàn)的,數(shù)據(jù)庫的可用性和性能將直接影響分布式鎖的可用性及性能,所以,數(shù)據(jù)庫需要雙機(jī)部署、數(shù)據(jù)同步、主備切換。 (2)不具備可重入的特性,因?yàn)橥粋€(gè)線程在釋放鎖之前,行數(shù)據(jù)一直存在,無法再次成功插入數(shù)據(jù),所以,需要在表中新增一列,用于記錄當(dāng)前獲取到鎖的機(jī)器和線程信息,在再次獲取鎖的時(shí)候,先查詢表中機(jī)器和線程信息是否和當(dāng)前機(jī)器和線程信息相同,若相同則直接獲取鎖; (3)沒有鎖失效機(jī)制,因?yàn)橛锌赡艹霈F(xiàn)成功插入數(shù)據(jù)后,服務(wù)器宕機(jī)了,對(duì)應(yīng)的數(shù)據(jù)沒有被刪除,當(dāng)服務(wù)恢復(fù)后一直獲取不到鎖,所以,需要在鎖中新增一列,用于記錄失效時(shí)間,并且需要有定時(shí)任務(wù)清除這些失效的數(shù)據(jù); (4)不具備阻塞鎖特性,獲取不到鎖直接返回失敗,所以需要優(yōu)化獲取邏輯,循環(huán)多次去獲取。
在實(shí)施過程中會(huì)遇到各種不同問題,為了解決這些問題,實(shí)現(xiàn)方式將會(huì)越來越復(fù)雜;依賴數(shù)據(jù)庫需要一定的資源開銷,性能問題需要考慮。
基于redis的實(shí)現(xiàn)方式
選擇redis分布式鎖的原因:
(1)redis有很高的性能; (2)redis對(duì)此支持的命令較好,實(shí)現(xiàn)起來比較方便
使用分布式鎖的時(shí)候主要用到的命令介紹:
(1)SETNX SETNX key val:當(dāng)且僅當(dāng)key不存在時(shí),set一個(gè)key為val的字符串,返回1;若key存在,則什么都不做,返回0。 (2)expire expire key timeout:當(dāng)key設(shè)置一個(gè)超時(shí)時(shí)間,單位為second,超過這個(gè)時(shí)間鎖會(huì)自動(dòng)釋放,避免死鎖。 (3)delete delete key:刪除key
實(shí)現(xiàn)思想:
(1)獲取鎖的時(shí)候,使用setnx加鎖,并使用expire命令給鎖加一個(gè)超時(shí)時(shí)間,超過該時(shí)間則自動(dòng)釋放鎖,鎖的value值為一個(gè)隨機(jī)生成的UUID,通過此在釋放鎖的時(shí)候進(jìn)行判斷。 (2)獲取鎖的時(shí)候還設(shè)置一個(gè)獲取的超時(shí)時(shí)間,若超過這個(gè)時(shí)間則放棄獲取鎖。 (3)釋放鎖的時(shí)候,通過UUID判斷是不是該鎖,若是該鎖,則執(zhí)行delete進(jìn)行鎖釋放。基于ZooKeeper的實(shí)現(xiàn)方式
ZooKeeper是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的開源組件,它內(nèi)部是一個(gè)分層的文件系統(tǒng)目錄樹結(jié)構(gòu),規(guī)定同一個(gè)目錄下只能有一個(gè)唯一文件名。
基于ZooKeeper實(shí)現(xiàn)分布式鎖的步驟如下:
(1)創(chuàng)建一個(gè)目錄mylock; (2)線程A想獲取鎖就在mylock目錄下創(chuàng)建臨時(shí)順序節(jié)點(diǎn); (3)獲取mylock目錄下所有的子節(jié)點(diǎn),然后獲取比自己小的兄弟節(jié)點(diǎn),如果不存在,則說明當(dāng)前線程順序號(hào)最小,獲得鎖; (4)線程B獲取所有節(jié)點(diǎn),判斷自己不是最小節(jié)點(diǎn),設(shè)置監(jiān)聽比自己小的節(jié)點(diǎn); (5)線程A處理完,刪除自己的節(jié)點(diǎn),線程B監(jiān)聽到變更事件,判斷自己是不是最小節(jié)點(diǎn),如果是則獲得鎖。
這里推薦一個(gè)Apache的開源庫Curator,它是一個(gè)ZooKeeper客戶端,Curator提供的InterProcessMutex是分布式鎖的實(shí)現(xiàn),acquire方法用于獲取鎖,release用于釋放鎖。
優(yōu)點(diǎn):具備高可用、可重入、阻塞鎖特性,可解決失效死鎖問題。
缺點(diǎn):因?yàn)樾枰l繁的創(chuàng)建和刪除節(jié)點(diǎn),性能上不如redis方式。
總結(jié)上面的三種方式,沒有在所有場(chǎng)合都是完美的,所以,應(yīng)根據(jù)不同的應(yīng)用場(chǎng)景選擇最適合的實(shí)現(xiàn)方式。
分布式環(huán)境中,對(duì)資源進(jìn)行上鎖有時(shí)候是很重要的,比如搶購某一資源,這時(shí)候使用分布式鎖就可以很好的控制資源。
參考鏈接https://blog.csdn.net/xlgen15...
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://m.specialneedsforspecialkids.com/yun/30862.html
摘要:分布式鎖實(shí)現(xiàn)方式前言目前幾乎很多大型網(wǎng)站及應(yīng)用都是分布式部署的,分布式場(chǎng)景中的數(shù)據(jù)一致性問題一直是一個(gè)比較重要的話題。基于數(shù)據(jù)庫實(shí)現(xiàn)分布式鎖基于緩存等實(shí)現(xiàn)分布式鎖基于實(shí)現(xiàn)分布式鎖。 前言 分布式鎖,是控制分布式系統(tǒng)之間同步訪問共享資源的一種方式 在分布式系統(tǒng)中,常常需要協(xié)調(diào)他們的動(dòng)作。如果不同的系統(tǒng)或是同一個(gè)系統(tǒng)的不同主機(jī)之間共享了一個(gè)或一組資源,那么訪問這些資源的時(shí)候,往往需要互斥...
摘要:結(jié)構(gòu)型模式適配器模式橋接模式裝飾模式組合模式外觀模式享元模式代理模式。行為型模式模版方法模式命令模式迭代器模式觀察者模式中介者模式備忘錄模式解釋器模式模式狀態(tài)模式策略模式職責(zé)鏈模式責(zé)任鏈模式訪問者模式。 主要版本 更新時(shí)間 備注 v1.0 2015-08-01 首次發(fā)布 v1.1 2018-03-12 增加新技術(shù)知識(shí)、完善知識(shí)體系 v2.0 2019-02-19 結(jié)構(gòu)...
摘要:導(dǎo)讀閱讀本文需要有足夠的時(shí)間,筆者會(huì)由淺到深帶你一步一步了解一個(gè)資深架構(gòu)師所要掌握的各類知識(shí)點(diǎn),你也可以按照文章中所列的知識(shí)體系對(duì)比自身,對(duì)自己進(jìn)行查漏補(bǔ)缺,覺得本文對(duì)你有幫助的話,可以點(diǎn)贊關(guān)注一下。目錄一基礎(chǔ)篇二進(jìn)階篇三高級(jí)篇四架構(gòu)篇五擴(kuò) 導(dǎo)讀:閱讀本文需要有足夠的時(shí)間,筆者會(huì)由淺到深帶你一步一步了解一個(gè)資深架構(gòu)師所要掌握的各類知識(shí)點(diǎn),你也可以按照文章中所列的知識(shí)體系對(duì)比自身,對(duì)自己...
摘要:為程序員金三銀四精心挑選的余道面試題與答案,歡迎大家向我推薦你在面試過程中遇到的問題我會(huì)把大家推薦的問題添加到下面的常用面試題清單中供大家參考。 為Java程序員金三銀四精心挑選的300余道Java面試題與答案,歡迎大家向我推薦你在面試過程中遇到的問題,我會(huì)把大家推薦的問題添加到下面的常用面試題清單中供大家參考。 前兩天寫的以下博客,大家比較認(rèn)可,熱度不錯(cuò),希望可以幫到準(zhǔn)備或者正在參加...
閱讀 2079·2023-04-25 21:11
閱讀 2968·2021-09-30 09:47
閱讀 2280·2021-09-24 09:48
閱讀 4438·2021-08-23 09:43
閱讀 900·2019-08-30 15:54
閱讀 567·2019-08-28 18:01
閱讀 1404·2019-08-27 10:55
閱讀 594·2019-08-27 10:55