深度學習環境搭建常用網址、conda/pip命令行整理（pytorch、paddlepaddle等環境搭建）

2022 年 10 月 31 日
筆記
Deep Learning, 環境配置

前言：最近研究深度學習，安裝了好多環境，記錄一下，方便後續查閱。

1. Anaconda軟體安裝

1.1 Anaconda

Anaconda是一個用於科學計算的Python發行版，支援Linux、Mac、Windows，包含了眾多流行的科學計算、數據分析的Python包。請自行到官網下載安裝，下載速度太慢的話可移步清華源。

官網：//repo.anaconda.com/archive/

清華源：//mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

1.2 Miniconda

Miniconda是一個Anaconda的輕量級替代，默認只包含了python和conda，但是可以通過pip和conda來安裝所需要的包。

官網：//docs.conda.io/en/latest/miniconda.html

清華源：//mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/

2. Anaconda創建虛擬環境

2.1 創建新的虛擬環境

（1）一步完成搭建。需要注意的是要更換python版本，只能用conda命令

conda create –n name python=3.8.10 anaconda

後邊加anaconda命令選項（可選），在建立虛擬環境的同時，也會安裝Jupyter Notebook、Numpy、Scipy、Matplotlib、Panda等python軟體包。

（2）分步搭建

# 該命令會創建一個空的conda虛擬環境，此時該環境中沒有任何依賴包，只有conda命令可用
conda create –n name
# 安裝python環境，可以指定python版本，不帶版本號則會默認安裝最新版本
conda install python==3.6.2

2.2 啟動/關閉環境

conda activate name  # 啟動虛擬環境
conda deactivate     # 關閉當前環境，退回到base

注意：早期版本的anaconda，前邊不需要加conda，直接activate name/deactivate即可。

2.3 刪除環境

conda remove -n name -all

2.4 快速創建（複製其他環境）

conda create -n name3 --clone name

2.5 環境重命名

conda create -n name2 -clone name  # 先copy當前環境
conda remove -n name -all  # 再刪除

2.6 將虛擬環境設置為本機當前python環境

安裝完anaconda，默認本機python環境為base環境，可以通過修改環境變數PATH下邊的路徑，完成本機python環境的切換。

3. 查看和修改conda環境配置

3.1 查看虛擬環境

conda info -e（或conda info --envs或conda env list）

3.2 查看conda的config資訊

conda config --show

3.3 查看conda的channels資訊

conda config --show channels

3.4 移除某個channels

conda config --remove channels //mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/（這是清華維護的conda三方源之一的conda-forge的鏡像，目前不一定能用）

3.5 添加可用的清華源

conda config --add channels //mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels //mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes（安裝時顯示channel的url）

4. 查看電腦硬體資訊

4.1 cuda版本

（1）進入NVIDIA控制面板查看

nvidia-smi

若報未找到命令，cmd進入目錄C:\Program Files\NVIDIA Corporation\NVSMI再輸入命令nvidia-smi，或者添加該目錄到環境變數。

（2）命令行查看cuda版本

nvcc --version  # 或者nvcc -V

（3）python中查看cuda資訊

import torch
# 查看cuda版本
torch.version.cuda  # 返回cuda版本號，比如11.1
# 查看cuda是否可用
torch.cuda.is_available()
# 查看可用cuda設備數
torch.cuda.device_count()

4.2 cudnn版本

進入cuda安裝目錄打開cudnn_version.h查看（低版本沒有cudnn_version.h，可在cudnn.h查看）

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\include\cudnn_version.h

也可以打開python，輸入如下指令查看

import torch
torch.backends.cudnn.version()  # 返回cudnn版本號，比如8005

4.3 cuda和顯示卡驅動版本對應關係

5. cuda和cudnn安裝

cuda下載網址：//developer.nvidia.cn/cuda-toolkit-archive

cudnn下載網址：//developer.nvidia.cn/rdp/cudnn-archive

官網下載速度都很快，比較煩的是cudnn下載需要註冊NVIDIA會員。建議花點時間註冊一個，調參俠必備。

cuda安裝這裡不再贅述，一路默認安裝到底即可。完成cuda安裝後需要將cudnn中的bin、include和lib三個文件夾拷貝至cuda根目錄下。另外記得添加環境變數，一般安裝的時候都會默認添加。

一台設備可以同時安裝任意多個cuda版本，可以通過修改環境變數來設置當前使用的cuda版本。環境變數中有三處與cuda有關的設置：

設置本機當前使用的cuda版本，只需要將PATH路徑中對應版本的bin文件目錄置前。和CUDA_PATH、NVCUDASAMPLES_ROOT路徑無關。

6. PyTorch環境搭建

6.1 中國鏡像源使用

（1）常見中國源鏡像

# 清華源
pip install pkgname -i //pypi.tuna.tsinghua.edu.cn/simple
# 豆瓣源
pip install pkgname -i //pypi.douban.com/simple
# 阿里源
pip install pkgname -i //mirrors.aliyun.com/pypi/simple
# 百度源
pip install pkgname -i //mirror.baidu.com/pypi/simple
# 中科大源
pip install pkgname -i //pypi.mirrors.ustc.edu.cn/simple

（2）臨時使用源鏡像下載

# pip
pip install -i //pypi.tuna.tsinghua.edu.cn/simple pkgname
pip install pkgname -i //pypi.douban.com/simple/

# conda
conda install -c //pypi.tuna.tsinghua.edu.cn/simple pkgname
conda install pkgname -c //pypi.douban.com/simple/

6.2 PyTorch安裝

官網下載地址：Start Locally | PyTorch、Previous PyTorch Versions | PyTorch

conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=11.3 -c pytorch （-c pytorch表示從官網下載）
pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url //download.pytorch.org/whl/cu113
pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 –f //download.pytorch.org/whl/torch_stable.html --trusted-host download.pytorch.org（速度快）

使用官方網址提供的命令可快速完成torch安裝配置，但是官網只提供一些固定版本的torch和cuda組合。可以根據自己的硬體配置，在官方下載網址或其他網站先行下載torch、torchvison等安裝包，然後將安裝包copy到指定路徑下，再用conda/pip命令安裝。大多數安裝包都是以wheel格式保存的whl文件（Wheel是Python發行版的標準內置包格式），可直接用pip安裝。

pip install cu101/torch-1.7.0%2Bcu101-cp38-cp38-win_amd64.whl

6.3 測試torch環境

import torch as t
t.__version__  # 成功則返回1.11.0+cu113  
t.cuda.is_available()   # 成功則返回True
# 退出python編譯環境：
exit()  # 或quit()

7. PaddlePaddle環境搭建

7.1 CPU版PaddlePaddle

conda install paddlepaddle==2.3.2 --channel //mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/

7.2 GPU版PaddlePaddle

本人測試下來conda下載速度賊慢，pip很快，兩種方式都可嘗試下，怎麼快怎麼來。

conda install paddlepaddle-gpu==2.3.2 cudatoolkit=11.2 -c //mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge
pip install paddlepaddle-gpu==2.3.2.post112 -f //www.paddlepaddle.org.cn/whl/windows/mkl/avx/stable.html

7.3 測試PaddlePaddle環境

import paddle
paddle.utils.run_check()

電腦本地還沒有安裝cuda和cudnn，但也顯示GPU版本PaddlePaddle已可用，有點奇怪，後邊再訓練個網路模型測試一下。

Tags: Deep Learning 環境配置