摘要:我們知道多線程環(huán)境下,每一個線程均可以使用所屬進(jìn)程的全局變量。在線程中使用局部變量則不存在這個問題,因為每個線程的局部變量不能被其他線程訪問。
我們知道多線程環(huán)境下,每一個線程均可以使用所屬進(jìn)程的全局變量。如果一個線程對全局變量進(jìn)行了修改,將會影響到其他所有的線程。為了避免多個線程同時對變量進(jìn)行修改,引入了線程同步機(jī)制,通過互斥鎖,條件變量或者讀寫鎖來控制對全局變量的訪問。
只用全局變量并不能滿足多線程環(huán)境的需求,很多時候線程還需要擁有自己的私有數(shù)據(jù),這些數(shù)據(jù)對于其他線程來說不可見。因此線程中也可以使用局部變量,局部變量只有線程自身可以訪問,同一個進(jìn)程下的其他線程不可訪問。
有時候使用局部變量不太方便,因此 python 還提供了 ThreadLocal 變量,它本身是一個全局變量,但是每個線程卻可以利用它來保存屬于自己的私有數(shù)據(jù),這些私有數(shù)據(jù)對其他線程也是不可見的。下圖給出了線程中這幾種變量的存在情況:
全局 VS 局部變量首先借助一個小程序來看看多線程環(huán)境下全局變量的同步問題。
import threading global_num = 0 def thread_cal(): global global_num for i in xrange(1000): global_num += 1 # Get 10 threads, run them and wait them all finished. threads = [] for i in range(10): threads.append(threading.Thread(target=thread_cal)) threads[i].start() for i in range(10): threads[i].join() # Value of global variable can be confused. print global_num
這里我們創(chuàng)建了10個線程,每個線程均對全局變量 global_num 進(jìn)行1000次的加1操作(循環(huán)1000次加1是為了延長單個線程執(zhí)行時間,使線程執(zhí)行時被中斷切換),當(dāng)10個線程執(zhí)行完畢時,全局變量的值是多少呢?答案是不確定。簡單來說是因為 global_num += 1 并不是一個原子操作,因此執(zhí)行過程可能被其他線程中斷,導(dǎo)致其他線程讀到一個臟值。以兩個線程執(zhí)行 +1 為例,其中一個可能的執(zhí)行序列如下(此情況下最后結(jié)果為1):
多線程中使用全局變量時普遍存在這個問題,解決辦法也很簡單,可以使用互斥鎖、條件變量或者是讀寫鎖。下面考慮用互斥鎖來解決上面代碼的問題,只需要在進(jìn)行 +1 運(yùn)算前加鎖,運(yùn)算完畢釋放鎖即可,這樣就可以保證運(yùn)算的原子性。
l = threading.Lock() ... l.acquire() global_num += 1 l.release()
在線程中使用局部變量則不存在這個問題,因為每個線程的局部變量不能被其他線程訪問。下面我們用10個線程分別對各自的局部變量進(jìn)行1000次加1操作,每個線程結(jié)束時打印一共執(zhí)行的操作次數(shù)(每個線程均為1000):
def show(num): print threading.current_thread().getName(), num def thread_cal(): local_num = 0 for _ in xrange(1000): local_num += 1 show(local_num) threads = [] for i in range(10): threads.append(threading.Thread(target=thread_cal)) threads[i].start()
可以看出這里每個線程都有自己的 local_num,各個線程之間互不干涉。
Thread-local 對象上面程序中我們需要給 show 函數(shù)傳遞 local_num 局部變量,并沒有什么不妥。不過考慮在實際生產(chǎn)環(huán)境中,我們可能會調(diào)用很多函數(shù),每個函數(shù)都需要很多局部變量,這時候用傳遞參數(shù)的方法會很不友好。
為了解決這個問題,一個直觀的的方法就是建立一個全局字典,保存進(jìn)程 ID 到該進(jìn)程局部變量的映射關(guān)系,運(yùn)行中的線程可以根據(jù)自己的 ID 來獲取本身擁有的數(shù)據(jù)。這樣,就可以避免在函數(shù)調(diào)用中傳遞參數(shù),如下示例:
global_data = {} def show(): cur_thread = threading.current_thread() print cur_thread.getName(), global_data[cur_thread] def thread_cal(): global global_data cur_thread = threading.current_thread() global_data[cur_thread] = 0 for _ in xrange(1000): global_data[cur_thread] += 1 show() # Need no local variable. Looks good. ...
保存一個全局字典,然后將線程標(biāo)識符作為key,相應(yīng)線程的局部數(shù)據(jù)作為 value,這種做法并不完美。首先,每個函數(shù)在需要線程局部數(shù)據(jù)時,都需要先取得自己的線程ID,略顯繁瑣。更糟糕的是,這里并沒有真正做到線程之間數(shù)據(jù)的隔離,因為每個線程都可以讀取到全局的字典,每個線程都可以對字典內(nèi)容進(jìn)行更改。
為了更好解決這個問題,python 線程庫實現(xiàn)了 ThreadLocal 變量(很多語言都有類似的實現(xiàn),比如Java)。ThreadLocal 真正做到了線程之間的數(shù)據(jù)隔離,并且使用時不需要手動獲取自己的線程 ID,如下示例:
global_data = threading.local() def show(): print threading.current_thread().getName(), global_data.num def thread_cal(): global_data.num = 0 for _ in xrange(1000): global_data.num += 1 show() threads = [] ... print "Main thread: ", global_data.__dict__ # {}
上面示例中每個線程都可以通過 global_data.num 獲得自己獨(dú)有的數(shù)據(jù),并且每個線程讀取到的 global_data 都不同,真正做到線程之間的隔離。
ThreadLocal 實現(xiàn)的代碼量不多,但是比較難理解,涉及很多 Python 黑魔法,下篇再來分析。那么 ThreadLocal 很完美了?不!Python 的 WSGI 工具庫 werkzeug 中有一個更好的 ThreadLocal 實現(xiàn),甚至支持協(xié)程之間的私有數(shù)據(jù),實現(xiàn)更加復(fù)雜,有機(jī)會再分析。
更多閱讀Thread local storage in Python
threading – Manage concurrent threads
Python線程同步機(jī)制
Linux多線程與同步
Are local variables in a python function thread safe?
本文由 selfboot 發(fā)表于 個人博客,采用署名-非商業(yè)性使用-相同方式共享 3.0 中國大陸許可協(xié)議。
非商業(yè)轉(zhuǎn)載請注明作者及出處。商業(yè)轉(zhuǎn)載請聯(lián)系作者本人。
本文標(biāo)題為: ThreadLocal之應(yīng)用篇
本文鏈接為: http://selfboot.cn/2016/08/22...
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/38132.html
摘要:在深入理解中的變量上中我們看到的引入,使得可以很方便地在多線程環(huán)境中使用局部變量。特別需要注意的是,基類的并不會屏蔽派生類中的創(chuàng)建。到此,整個源碼核心部分已經(jīng)理解的差不多了,只剩下用來執(zhí)行清除工作。 在 深入理解Python中的ThreadLocal變量(上) 中我們看到 ThreadLocal 的引入,使得可以很方便地在多線程環(huán)境中使用局部變量。如此美妙的功能到底是怎樣實現(xiàn)的?如果你...
摘要:具體怎么實現(xiàn)的呢,思想其實特別簡單,我們在深入理解中的變量上一文的最后有提起過,就是創(chuàng)建一個全局字典,然后將線程或者協(xié)程標(biāo)識符作為,相應(yīng)線程或協(xié)程的局部數(shù)據(jù)作為。 在上篇我們看到了 ThreadLocal 變量的簡單使用,中篇對python中 ThreadLocal 的實現(xiàn)進(jìn)行了分析,但故事還沒有結(jié)束。本篇我們一起來看下Werkzeug中ThreadLocal的設(shè)計。 Werkzeug...
摘要:中的詳解必修個多線程問題總結(jié)個多線程問題總結(jié)有哪些源代碼看了后讓你收獲很多,代碼思維和能力有較大的提升有哪些源代碼看了后讓你收獲很多,代碼思維和能力有較大的提升開源的運(yùn)行原理從虛擬機(jī)工作流程看運(yùn)行原理。 自己實現(xiàn)集合框架 (三): 單鏈表的實現(xiàn) 自己實現(xiàn)集合框架 (三): 單鏈表的實現(xiàn) 基于 POI 封裝 ExcelUtil 精簡的 Excel 導(dǎo)入導(dǎo)出 由于 poi 本身只是針對于 ...
摘要:方法,刪除當(dāng)前線程綁定的這個副本數(shù)字,這個值是的值,普通的是使用鏈表來處理沖突的,但是是使用線性探測法來處理沖突的,就是每次增加的步長,根據(jù)參考資料所說,選擇這個數(shù)字是為了讓沖突概率最小。 showImg(https://segmentfault.com/img/remote/1460000019828633); 老套路,先列舉下關(guān)于ThreadLocal常見的疑問,希望可以通過這篇學(xué)...
閱讀 1393·2021-11-04 16:11
閱讀 3053·2021-10-12 10:11
閱讀 2989·2021-09-29 09:47
閱讀 1624·2021-09-22 15:40
閱讀 1023·2019-08-29 15:43
閱讀 2814·2019-08-29 13:50
閱讀 1590·2019-08-29 13:28
閱讀 2698·2019-08-29 12:54