numba，讓你的Python飛起來！

• 2019 年 10 月 4 日
• 筆記

python由於它動態解釋性語言的特性，跑起代碼來相比java、c++要慢很多，尤其在做科學計算的時候，十億百億級別的運算，讓python的這種劣勢更加凸顯。

辦法永遠比困難多，numba就是解決python慢的一大利器，可以讓python的運行速度提升上百倍！

1 什麼是numba？

numba是一款可以將python函數編譯為機器代碼的JIT編譯器，經過numba編譯的python代碼（僅限數組運算），其運行速度可以接近C或FORTRAN語言。

python之所以慢，是因為它是靠CPython編譯的，numba的作用是給python換一種編譯器。

python、c、numba三種編譯器速度對比

使用numba非常簡單，只需要將numba裝飾器應用到python函數中，無需改動原本的python代碼，numba會自動完成剩餘的工作。

import numpy as np  import numba  from numba import jit    @jit(nopython=True) # jit，numba裝飾器中的一種  def go_fast(a): # 首次調用時，函數被編譯為機器代碼      trace = 0      # 假設輸入變量是numpy數組      for i in range(a.shape[0]):   # Numba 擅長處理循環          trace += np.tanh(a[i, i])      return a + trace

以上代碼是一個python函數，用以計算numpy數組各個數值的雙曲正切值，我們使用了numba裝飾器，它將這個python函數編譯為等效的機器代碼，可以大大減少運行時間。

2 numba適合科學計算

numpy是為面向numpy數組的計算任務而設計的。

在面向數組的計算任務中，數據並行性對於像GPU這樣的加速器是很自然的。Numba了解NumPy數組類型，並使用它們生成高效的編譯代碼，用於在GPU或多核CPU上執行。特殊裝飾器還可以創建函數，像numpy函數那樣在numpy數組上廣播。

什麼情況下使用numba呢？

• 使用numpy數組做大量科學計算時
• 使用for循環時

3 學習使用numba

第一步：導入numpy、numba及其編譯器

import numpy as np  import numba  from numba import jit

第二步：傳入numba裝飾器jit，編寫函數

# 傳入jit，numba裝飾器中的一種  @jit(nopython=True)  def go_fast(a): # 首次調用時，函數被編譯為機器代碼      trace = 0      # 假設輸入變量是numpy數組      for i in range(a.shape[0]):   # Numba 擅長處理循環          trace += np.tanh(a[i, i])  # numba喜歡numpy函數      return a + trace # numba喜歡numpy廣播

nopython = True選項要求完全編譯該函數（以便完全刪除Python解釋器調用），否則會引發異常。這些異常通常表示函數中需要修改的位置，以實現優於Python的性能。強烈建議您始終使用nopython = True。

第三步：給函數傳遞實參

# 因為函數要求傳入的參數是nunpy數組  x = np.arange(100).reshape(10, 10)  # 執行函數  go_fast(x)

第四步：經numba加速的函數執行時間

% timeit go_fast(x)

輸出：

3.63 µs ± 156 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

第五步：不經numba加速的函數執行時間

def go_fast(a): # 首次調用時，函數被編譯為機器代碼      trace = 0      # 假設輸入變量是numpy數組      for i in range(a.shape[0]):   # Numba 擅長處理循環          trace += np.tanh(a[i, i])  # numba喜歡numpy函數      return a + trace # numba喜歡numpy廣播    x = np.arange(100).reshape(10, 10)  %timeit go_fast(x)

輸出：

136 µs ± 1.09 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

結論：

在numba加速下，代碼執行時間為3.63微秒/循環。不經過numba加速，代碼執行時間為136微秒/循環，兩者相比，前者快了40倍。

4 numba讓python飛起來

前面已經對比了numba使用前後，python代碼速度提升了40倍，但這還不是最快的。

這次，我們不使用numpy數組，僅用for循環，看看nunba對for循環到底有多鍾愛！

# 不使用numba的情況  def t():      x = 0      for i in np.arange(5000):          x += i      return x  %timeit(t()) 

輸出：

408 µs ± 9.73 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

# 使用numba的情況  @jit(nopython=True)  def t():      x = 0      for i in np.arange(5000):          x += i      return x  %timeit(t()) 

輸出：

1.57 µs ± 53.8 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

使用numba前後分別是408微秒/循環、1.57微秒/循環，速度整整提升了200多倍！

5 結語

numba對python代碼運行速度有巨大的提升，這極大的促進了大數據時代的python數據分析能力，對數據科學工作者來說，這真是一個lucky tool ！

當然numba不會對numpy和for循環以外的python代碼有很大幫助，你不要指望numba可以幫你加快從數據庫取數，這點它真的做不到哈。

——————- End ——————-

文章轉載自公眾號 Python大數據分析 ， 作者 朱衛軍