Pyinstaller打包Pytorch框架所遇到的問題
- 2022 年 3 月 24 日
- 筆記
前言
第一次嘗試用Pyinstaller打包Pytorch,碰見了很多問題,耗費了許多時間!想把這個過程中碰到的問題與解決方法記錄一下,方便後來者。
基本流程
使用Pyinstaller打包流程可分為以下三步:
- 安裝Pyinstaller,寫個Hello world打包測試
- 打包整個項目,在本機上調試生成exe
- 將exe拷貝到新電腦上,測試和調試
一、安裝Pyinstaller 和 測試Hello World
使用Pycharm打開項目,點擊Terminal,輸入以下命令:
請確保Terminal所在路徑為項目根目錄,以免在後續打包過程中找不到一些模組。圖中紅框內(pytorch)是我的項目所需要的虛擬環境。
編寫Hello World測試,新建test.py:
if __name__ == '__main__':
print("Hello World!")
while True:
pass
在Terminal輸入以下命令,打包test.py:
回車運行,開始打包!在文件夾dist中找到test.exe程式,運行測試,沒報錯說明Pyinstaller安裝成功。
二、打包整個項目,在本機上調試生成exe
實際的項目一般是多文件,打包過程遠比Hello World複雜多了。打包項目的核心要點有兩個:
- 配置好.spec文件
- 補齊依賴項
關於.spec文件配置詳見參考鏈接一,這裡不再贅述。需要注意的是,在測試階段,打包時應設置為-D模式,方便補齊dll。本文重點講dll及其依賴項的補齊。先安裝必備工具Dependens,通過這個工具,我們可以得到.dll文件所需要的依賴項。在運行打包後的exe常常遇到以下的問題:
這提示我們系統缺少caffe2_nvrtc.dll或其對應的依賴項。
- 先到對應路徑查看caffe2_nvrtc.dll是否存在
- 若不存在,直接在Anaconda配置環境的文件夾搜索,一般都可以找到。將找到的caffe2_nvrtc.dll複製粘貼到根目錄下
- 若存在,說明是缺少caffe2_nvrtc.dll的依賴項,使用Dependencies工具查看所需要的依賴項,後補齊到根目錄下
Dependencies的使用非常簡單,直接將.dll拖進去即可。這裡以torch_python.dll舉例
可以發現,缺少若干個dll文件,補齊便可。通過上述方法,依樣畫葫蘆,基本可以解決關於dll報錯的問題。
但每次重新打包後,需要手動複製粘貼dll文件,很是麻煩,通過配置.spec文件可簡化操作。以記事本方式打開.spec,找到datas:
小括弧內有兩個路徑,第一個路徑‘kernel32.dll’表示原始數據路徑,存放kernel32.dll的路徑;第二路徑為‘.’表示目標路徑,打包後原始數據存放的路徑。意思就是將第一路徑的東西在打包後,放在第二路徑上。需要注意的是,這邊我設置的是相對路徑,相對於.spec中的pathex
三、在新電腦上測試
我使用的是pytorch的GPU版本,在新電腦上運行發現會報如下錯誤,應該是缺少cuda庫的緣故。
我的解決辦法簡單粗暴,直接拷貝cuda包到移動硬碟
每次到新的電腦,添加cuda到環境變數
建議在程式額外設置一個選項,可將網路切換成CPU推理,以便在其他電腦測試時,即使環境未配置成功,也可通過CPU推理驗證打包成功與否。最後,祝大家好運,打包成功那一刻是蠻喜悅的!
參考資料
- python項目(非單一.py文件)用Pyinstaller打包發布成exe,在windos上運行程式
- 嘗試使用Pyinstaller打包yolov5中detect.py文件(含pytorch框架)所遇到的問題
- pyinstaller打包經驗分享以及一些錯誤解決方法~~
- Dependencies安裝鏈接