摘要：免責(zé)聲明不要過早地進(jìn)行優(yōu)化有關(guān)過早優(yōu)化的詳細(xì)分析請查閱本文。如果在龐大的應(yīng)用中運行該分析工具，會得到一張巨大的圖片。免責(zé)聲明請確保該方法只用于函數(shù)如果將記憶用于帶有副作用譬如的函數(shù)，緩存可能無法達(dá)到預(yù)期的效果。

【編者按】本文作者為來自 HumanGeo 的工程師 Davis，主要介紹了用于 Python 應(yīng)用性能分析的幾個工具。由國內(nèi) ITOM 管理平臺 OneAPM 編譯呈現(xiàn)。

在 HumanGeo，我們廣泛使用 Python 進(jìn)行編程，并且樂趣無窮。用 Python 寫的程序不僅整潔美觀，而且運行速度快得驚人。不論是私底下還是工作中，Python 都是筆者最愛的語言。然而，即便是 Python 這樣美妙的語言，卻也可能出現(xiàn)運行緩慢的情況。幸運的是，有許多不錯的工具，可以幫助我們分析 Python 代碼，從而保證其運行效率。

當(dāng)筆者剛開始在 HumanGeo 工作時，就曾遇到過一個運行一次耗時數(shù)小時的程序，而筆者的任務(wù)，就是找出其性能瓶頸，再盡可能地提高其運行效率。當(dāng)時，筆者使用了許多工具，包括 cProfile][5]， [PyCallGraph][6，甚至 PyPy（一個運行快速的 Python 解釋器），以確定最佳的程序優(yōu)化方案。在本文中，筆者將介紹上述工具（為了保持生產(chǎn)環(huán)境中的解釋器一致性，本文將不會介紹 PyPy 工具）的使用方法。甚至即便是最老練的開發(fā)者，也可以借助這些工具進(jìn)一步優(yōu)化他們的代碼。

免責(zé)聲明：不要過早地進(jìn)行優(yōu)化！有關(guān)過早優(yōu)化的詳細(xì)分析請查閱本文。

閑話少敘，下面開始介紹分析 Python 代碼的幾種便捷工具。

CPython distribution 自帶兩種分析工具：profile 與 cProfile。兩者使用同樣的 API，按理說運行效果應(yīng)該差不多。然而，前者的運行時開銷更大，因此，本文將主要介紹 cProfile。

借助 cProfile，可以輕松實現(xiàn)對代碼的深入分析，并且了解代碼的哪些部分亟待提升。查看下面的緩慢代碼實例：

--> % cat slow.py
import time

def main():    
  sum = 0    
  for i in range(10):        
      sum += expensive(i // 2)    
  return sum
  
def expensive(t):    
   time.sleep(t)    
   return t
   
if __name__ == "__main__":
    print(main())

在上面的代碼中，筆者通過調(diào)用 time.sleep 方法，模擬一個運行時間很長的程序，并假定運行結(jié)果很重要。接下來，對這段代碼進(jìn)行分析，結(jié)果如下：

--> % python -m cProfile slow.py
20
         34 function calls in 20.030 seconds

   Ordered by: standard name   
 ncalls  tottime  percall  cumtime  percall filename:lineno(function)        
 1    0.000    0.000    0.000    0.000 __future__.py:48()        
 1    0.000    0.000    0.000    0.000 __future__.py:74(_Feature)        
 7    0.000    0.000    0.000    0.000 __future__.py:75(__init__)       
 10    0.000    0.000   20.027    2.003 slow.py:11(expensive)        
 1    0.002    0.002   20.030   20.030 slow.py:2()        
 1    0.000    0.000   20.027   20.027 slow.py:5(main)        
 1    0.000    0.000    0.000    0.000 {method "disable" of "_lsprof.Profiler" objects}        
 1    0.000    0.000    0.000    0.000 {print}        
 1    0.000    0.000    0.000    0.000 {range}       
 10   20.027    2.003   20.027    2.003 {time.sleep}

我們發(fā)現(xiàn)，分析結(jié)果相當(dāng)瑣碎。其實，可以用更有益的方式組織分析結(jié)果。在上例中，調(diào)用列表是按照字母順序排列的，這對我們并無價值。筆者更愿意看到按照調(diào)用次數(shù)或累計運行時間排列的調(diào)用情況。幸運的是，通過 -s 參數(shù)就能實現(xiàn)這一點。我們馬上就能看到存在問題的代碼段了！

--> % python -m cProfile -s calls slow.py
20
         34 function calls in 20.028 seconds

   Ordered by: call count   
   
   ncalls  tottime  percall  cumtime  percall filename:lineno(function)       
   10    0.000    0.000   20.025    2.003 slow.py:11(expensive)       
   10   20.025    2.003   20.025    2.003 {time.sleep}        
   7    0.000    0.000    0.000    0.000 __future__.py:75(__init__)        
   1    0.000    0.000   20.026   20.026 slow.py:5(main)        
   1    0.000    0.000    0.000    0.000 __future__.py:74(_Feature)        
   1    0.000    0.000    0.000    0.000 {print}        
   1    0.000    0.000    0.000    0.000 __future__.py:48()        
   1    0.003    0.003   20.028   20.028 slow.py:2()        
   1    0.000    0.000    0.000    0.000 {method "disable" of "_lsprof.Profiler" objects}        
   1    0.000    0.000    0.000    0.000 {range}

果然！我們發(fā)現(xiàn)，存在問題的代碼就在 expensive 函數(shù)當(dāng)中。該函數(shù)在執(zhí)行結(jié)束之前調(diào)用了多次 time.sleep 方法，因此導(dǎo)致了程序的速度下降。

-s參數(shù)的有效取值列表可以在此 Python 文檔中找到。如果你想將分析結(jié)果保存到一個文件中，記得使用輸出選項 -o。

基本功能介紹完畢之后，讓我們來看看使用分析工具查找問題代碼的其他方法。

PyCallGraph 可以看做是 cProfile 的可視化擴展工具。借助該工具，我們可以通過出色的 Graphviz 圖片了解代碼執(zhí)行的路徑。PyCallGraph 并未包含在標(biāo)準(zhǔn)的 Python 安裝包內(nèi)，因此，需要通過如下語句，進(jìn)行簡單的安裝：

-> % pip install pycallgraph

通過下面的指令，就能運行圖形化應(yīng)用：

-> % pycallgraph graphviz -- python slow.py

運行完畢之后，在運行腳本的目錄下會出現(xiàn)一張 pycallgraph.png 圖片文件。同時，還應(yīng)該得到相似的分析結(jié)果（如果你之前已經(jīng)用 cProfile 分析過了）。結(jié)果中的數(shù)據(jù)應(yīng)該與 cProfile 提供的結(jié)果一致。不過，PyCallGraph 的優(yōu)點在于，它能展示被調(diào)用函數(shù)相互間的關(guān)系。

讓我們來看看圖片到底長什么樣：

這多方便啊！圖片顯示了程序的運行路徑，告訴我們程序經(jīng)歷過的每個函數(shù)、模塊以及文件，還帶有運行時間與調(diào)用次數(shù)等信息。如果在龐大的應(yīng)用中運行該分析工具，會得到一張巨大的圖片。但是，根據(jù)顏色的差別，我們?nèi)阅茌p易找到存在問題的代碼塊。下面是 PyCallGraph 文檔中提供的一張圖片，展示了一段復(fù)雜的正則表達(dá)式調(diào)用中代碼的運行路徑：

點此獲取此圖分析的源碼

一旦我們確定了導(dǎo)致問題代碼的根源，就可以選擇合適的解決方案優(yōu)化代碼，為其提速。下面，讓我們根據(jù)特定的情況，探討一些緩慢代碼可行的解決方案。

如果你發(fā)現(xiàn)自己的代碼嚴(yán)重依賴于輸入/輸出，譬如，需要發(fā)送很多 Web 請求，那么，Python 的標(biāo)準(zhǔn)線程模塊或許就能幫你解決該問題。由于 CPython 的全局鎖機制(Global Interpreter Lock，GIL)不允許為代碼中心任務(wù)同時使用多個核，非 I/O 相關(guān)的線程并不適合用 Python 實現(xiàn)。

人們都說，一旦你決定用正則表達(dá)式解決某個問題，你就有兩個問題要解決了。正則表達(dá)式真的很難用對，而且難以維護(hù)。關(guān)于這一點，筆者可以寫一篇長篇大論進(jìn)行闡述。（但是，我不會寫的:)。正則表達(dá)式真的不簡單，我相信有很多博文已經(jīng)做了詳盡的闡述。）不過，在此，筆者將介紹幾個有用的技巧：

避免使用 .*，貪婪的匹配所有運算符運行起來非常慢，盡可能使用字符類才是更好的選擇。

避免使用正則表達(dá)式！其實，許多正則表達(dá)式都可以用簡單的字符串方法替代，比如 str.startswith 與 str.endswith
方法。閱讀 str 文檔可以找到更多有用的信息。

多使用 re.VERBOSE！Python 的正則表達(dá)式引擎非常強大，超級有用，一定要好好利用！

以上是有關(guān)正則表達(dá)式筆者想說的全部內(nèi)容。如果你想要更多信息，相信網(wǎng)絡(luò)上還有很多好的文章。

以筆者之前剖析過的代碼為例，我們的 Python 函數(shù)會運行成千上萬次以找出英文詞的詞根。該函數(shù)最迷人的地方在于，其進(jìn)行的操作很容易緩存。保存函數(shù)的運行結(jié)果之后，代碼的運行速度提升了整整十倍。而在 Python 中創(chuàng)建緩存是輕而易舉的事情：

from functools import wraps
def memoize(f):
    cache = {}    
    @wraps(f)    
    def inner(arg):       
       if arg not in cache:
            cache[arg] = f(arg)        
       return cache[arg]   
     return inner

該技術(shù)名為記憶(memoization)，在具體實現(xiàn)時會執(zhí)行為裝飾器，可輕易應(yīng)用在 Python 函數(shù)中，如下所示：

import time
@memoize
def slow(you):
    time.sleep(3)
    print("Hello after 3 seconds, {}!".format(you))    
    return 3

現(xiàn)在，如果我們多次運行該函數(shù)，運行結(jié)果就會立即出現(xiàn)：

>>> slow("Davis")
Hello after 3 seconds, Davis!
3
>>> slow("Davis")
3
>>> slow("Visitor")
Hello after 3 seconds, Visitor!
3
>>> slow("Visitor")
3

對于該項目來說，這是極大的速度提升。而且代碼運行起來也沒有出現(xiàn)故障。

免責(zé)聲明：請確保該方法只用于 pure 函數(shù)！如果將記憶(memoization)用于帶有副作用（譬如：I/O）的函數(shù)，緩存可能無法達(dá)到預(yù)期的效果。

如果你的代碼無法使用記憶(memoization)技巧，你的算法也不像 O(n!) 這樣瘋狂，或者代碼的剖析結(jié)果也沒有引人注意的地方，這可能說明你的代碼并不存在顯著的問題。這時候，你可以嘗試一下別的運行環(huán)境或語言。PyPy 就是一個好的選擇，你可能還要將算法用C語言擴展方法重寫一下。幸運的是，筆者之前的項目并未走到這一步，但是這仍是很好的排錯方案。

剖析代碼可以幫助你理解項目的執(zhí)行流程、找出潛在的問題代碼，以及作為開發(fā)者該如何提升程序運行速度。Python 剖析工具不但功能強大，簡單易用，而且足夠深入以快速找出問題根源。雖然 Python 并不是以快速著稱的語言，但這并不意味著你的代碼應(yīng)該拖拖拉拉。管理好自己的算法，適時進(jìn)行剖析，但絕不要過早優(yōu)化！

本文轉(zhuǎn)自 OneAPM 官方博客
原文地址：http://blog.thehumangeo.com/2015/07/28/profiling-in-python/