摘要:使用的命令盡管如此,裝飾器和模塊都是基于的。這個模塊首先應該被安裝,使用命令下一步,你需要指定你想使用裝飾器評估哪個函數你不需要把它到你的文件中。安裝也建議安裝包,使得模塊運行的更快類似的方式,使用裝飾器來標記哪個函數被跟蹤。
本文的作者是 Marina Mele,原文地址是 7 tips to Time Python scripts and control Memory & CPU usage
當運行一個復雜的 Python 程序,它需要很長時間來執行。你或許想提升它的執行時間。但如何做?
首先,你需要工具來查明你代碼的瓶頸,比如,那部分執行花費的時間長。用這個方法,你可以首先專注于提升這部分的速度。
而且,你也應該控制內存和 CPU 使用率,因為它可以為你指出的代碼可以改進的新的部分。
所以,在本文中,我將對 7 個不同的 Python 工具發表意見,給你一些關于你函數執行時間和內存以及 CPU 使用率的見解。
1. 使用一個裝飾器來測量你的函數測量一個函數最簡單的方式就是定義一個裝飾器來測量運行該函數的運行時間,并打印該結果:
import time from functools import wraps def fn_timer(function): @wraps(function) def function_timer(*args, **kwargs): t0 = time.time() result = function(*args, **kwargs) t1 = time.time() print ("Total time running %s: %s seconds" % (function.func_name, str(t1-t0)) ) return result return function_timer
這時,你已經在你想測量的函數之前添加了裝飾器,像:
@fn_timer def myfunction(...): ...
例如,讓我們測量下排序一個 2000000 個隨機數的數組會花費多長時間:
@fn_timer def random_sort(n): return sorted([random.random() for i in range(n)]) if __name__ == "__main__": random_sort(2000000)
如果你運行你的腳本,你將看到:
Total time running random_sort: 1.41124916077 seconds2. 使用 timeit 模塊
另外一個選項是使用 timeit 模塊,它給你測量一個平均時間。
為了運行它,在你的終端執行以下命令:
$ python -m timeit -n 4 -r 5 -s "import timing_functions" "timing_functions.random_sort(2000000)"
timing_functions 是你腳本的名字。
在輸出的最后,你會看到一些像這樣的東西:
4 loops, best of 5: 2.08 sec per loop
表明了運行這個測試 4 次(-n 4),并在每個測試中重復平均 5 次(-r 5),最佳的結果是 2.08 秒。
如果你沒有指定測試或者重復,它默認是 10 次循環和 5 次重復。
3. 使用 Uinx 的 time 命令盡管如此,裝飾器和 timeit 模塊都是基于 Python 的。這就是為什么 unix time 工具或許有用,因為它是一個外部的 Python 測量。
為了運行 time 工具類型:
$ time -p python timing_functions.py
將給出如下輸出:
Total time running random_sort: 1.3931210041 seconds real 1.49 user 1.40 sys 0.08
第一行來自于我們定義的裝飾器,其他三行是:
real 表明了執行腳本花費的總時間
User 表明了執行腳本花費在的 CPU 時間
Sys 表明了執行腳本花費在內核函數的時間
因此, real time 和 user+sys 相加的不同或許表明了時間花費在等待 I/O 或者是系統在忙于執行其他任務。
4. 使用 cProfile 模塊如果你想知道花費在每個函數和方法上的時間,以及它們被調用了多少次,你可以使用 cProfile 模塊。
$ python -m cProfile -s cumulative timing_functions.py
現在你將看到你的代碼中每個函數被調用多少次的詳細描述,并且它將通過累積花費在每個函數上面的時間來排序(感謝 -s cumulative 選項)
你將看到花費在運行你的腳本的總時間是比以前高的。這是我們測量每個函數執行時間的損失。
5. 使用 line_profiler 模塊line_profiler 給出了在你代碼每一行花費的 CPU 時間。
這個模塊首先應該被安裝,使用命令:
$ pip install line_profiler
下一步,你需要指定你想使用裝飾器 @profile 評估哪個函數(你不需要把它 import 到你的文件中)。
@profile def random_sort2(n): l = [random.random() for i in range(n)] l.sort() return l if __name__ == "__main__": random_sort2(2000000)
最后,你可以通過鍵入以下命令取得 random_sort2 函數逐行的描述:
$ kernprof -l -v timing_functions.py
-l 標識表明了逐行和 -v 標識表明詳細輸出。使用這個方法,我們看到了數組結構花費了 44% 的計算時間,sort() 方法花費了剩余的 56%。
你也將看到,由于時間測量,這個腳本執行花費的或許更長。
6. 使用 memory_profiler 模塊memory_profiler 模塊被用于在逐行的基礎上,測量你代碼的內存使用率。盡管如此,它可能使得你的代碼運行的更慢。
安裝:
$ pip install memory_profiler
也建議安裝 psutil 包,使得 memory_profile 模塊運行的更快:
$ pip install psutil
類似 line_profiler 的方式,使用裝飾器 @profile 來標記哪個函數被跟蹤。下一步,鍵入:
$ python -m memory_profiler timing_functions.py
是的,前面的腳本比之前的 1 或 2 秒需要更長的時間。并且,如果你不安裝 psutil 模塊,你將一直等待結果。
看上面的輸出,注意內存使用率的單位是 MiB,這代表的是兆字節(1MiB = 1.05MB)。
7. 使用 guppy 包最后,使用這個包,你可以跟蹤每個類型在你代碼中每個階段(字符, 元組, 字典 等等)有多少對象被創建了。
安裝:
$ pip install guppy
下一步,像這樣添加到你的代碼中:
from guppy import hpy def random_sort3(n): hp = hpy() print "Heap at the beginning of the function ", hp.heap() l = [random.random() for i in range(n)] l.sort() print "Heap at the end of the function ", hp.heap() return l if __name__ == "__main__": random_sort3(2000000)
并且這樣運行你的代碼:
$ python timing_functions.py
你將看到一些像下面的輸出:
通過配置 heap 在你的代碼的不同地方,你可以在腳本中學到對象的創建和銷毀。
如果你想學習更多提升你 Python 代碼的知識,我建議你看看 2014 年 11 月出版的 High Performance Python: Practical Performant Programming for Humans 這本書。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/37464.html
摘要:內存泄漏往往發生在即使該對象不再使用的時候,你的程序還持有對該對象的引用。最快速發現內存泄漏的方式就是使用一個由編寫的非常好的稱為的工具。通過這些工具和技術的武裝,你應該可以獲取所有要求追蹤大多數內存泄漏以及在程序快速識別瓶頸的信息。 注: 本文的原作者是 Huy Nguyen ,原文地址為 A guide to analyzing Python performance 雖然...
摘要:緩存攻擊是和個人電腦相關的一種邊信道攻擊,因為高速緩沖區被不同的進程和用戶使用而導致了信息的泄露。報告中的攻擊方式因此是高度可行的對于攻擊者的假設和限定是實際的運行的時間是實際的給攻擊者帶來的好處也是實際的。 原文 The Spy in the Sandbox – Practical Cache Attacks in Javascript 相關論文可在 https://github.c...
摘要:怎樣才算是高性能的應用性能和速度不是一對同義詞。紅線表示針對速度進行了優化的腳本,藍線是可擴展性優先的腳本。將任何這些功能置于循環中可能會導致性能問題。完整的代碼檢測評估雖然可能很耗時,但它可以為你提供有關應用程序性能的深入信息。 showImg(https://segmentfault.com/img/bVNxDn?w=900&h=500);程序員都喜歡最新的PHP 7,因為它使PH...
閱讀 3036·2023-04-25 18:06
閱讀 3293·2021-11-22 09:34
閱讀 2866·2021-08-12 13:30
閱讀 2055·2019-08-30 15:44
閱讀 1668·2019-08-30 13:09
閱讀 1636·2019-08-30 12:45
閱讀 1721·2019-08-29 11:13
閱讀 3616·2019-08-28 17:51