推薦一個python庫：Vaex

• 2019 年 12 月 17 日
• 筆記

我在忙什麼呢？最近我在研究各種工具產品的智慧化趨勢，數據的充沛、演算法的成熟，以往我們pc互聯網創造的工具都有被改造一遍的可能。

我最看重幾個機制，比如數據存儲與應用分離、模組化、流程自動化、個人/開發者生產內容、平台與插件生態等等。

這些機制理解起來非常簡單，但是可以誕生非常強大的複雜系統/生態。

簡單的才是最有效的解決方案。

我喜歡關注各種程式碼的核心運行機制，欣賞開發者所具備的創造力跟想像力。推薦今天看到一個不錯的python庫。用於日常的數據挖掘工作非常不錯。

Vaex是一個開源的DataFrame庫。

先感受下速度，如果在筆記型電腦電腦上運行：

Pandas將按每秒數百萬字元串的順序進行；

Spark將以每秒1000萬個字元串的順序執行；

Vaex每秒可以處理大約1億個字元串；

Vaex可以對表格數據集進行可視化、探索、分析，甚至機器學習，這些數據集和你的硬碟驅動器一樣大。它可以在一個n維網格上每秒計算超過10億（10^9）個對象的平均值、和、計數、標準差等統計資訊。

可視化使用直方圖、使用直方圖、密度圖和3D立體渲染進行可視化。為此，Vaex採用了記憶體映射、高效的外核演算法和延遲計算等概念來獲得最佳性能（不浪費記憶體）。所有這些都封裝在一個類似Pandas的API中。

GitHub：

https://github.com/vaexio/vaex

有興趣建議嘗試下哈～