【謊言大揭秘】Modin真的比pandas運行更快嗎？

2020 年 5 月 24 日
筆記

最近看了某公眾號文章，推薦了所謂的神器，據說讀取速度吊打pandas，可謂牛逼，事實真是這樣嗎？

來一起揭秘真相。

首先安裝包。

# pip install ray
# pip install dask
# pip install modin

安裝版本

Successfully installed aiohttp-3.6.2 async-timeout-3.0.1 google-2.0.3 multidict-4.7.6 py-spy-0.3.3 ray-0.8.5 redis-3.4.1 yarl-1.4.2
Requirement already satisfied: dask in /Applications/anaconda3/lib/python3.7/site-packages (2.11.0)
Successfully installed modin-0.7.3 pandas-1.0.3
Successfully uninstalled ray-0.8.5
Successfully installed pyarrow-0.16.0 ray-0.8.4

導入包測試

import modin.pandas as pd

# ImportError: Please `pip install modin[ray]` to install compatible Ray version.
# 首次報錯
# pip install modin[ray]

第二次運行

彈窗，點允許，哈哈 # 您要應用程式「redis-server」接受傳入網路連接嗎？

modin.pandas: 76.71852612495422

import time
import modin.pandas as pd

start = time.time()
#Taxi_Trips(正式).csv 5.38G
df = pd.read_csv(r'/Users/dugh/Desktop/芝加哥市計程車行車記錄(2013年至今)/Taxi_Trips(正式).csv')
end = time.time()
print(end-start)

pandas: 71.43032503128052

import time
import pandas as pd

start = time.time()
#Taxi_Trips(正式).csv 5.38G
df = pd.read_csv(r'/Users/dugh/Desktop/芝加哥市計程車行車記錄(2013年至今)/Taxi_Trips(正式).csv')
end = time.time()
print(end-start)

第一輪（5.38G）：pandas勝出 5 秒