Ubuntu 20.04 LTS/RTX30XX顯示卡快速配置深度學習環境(一行命令)

  • 2020 年 12 月 15 日
  • AI

​近日,新入一台RTX3080的伺服器,目前好像還沒辦法很方便地在 RTX 30 系列 GPU上通過 pip/conda 安裝 TensorFlow 或 PyTorch。因為這些 GPU 需要 CUDA 11.1,而當前主流的 TensorFlow/PyTorch 版本不是針對 CUDA 11.1 編譯的。現在要在 30XX GPU 上運行這些庫的話,需要很強的動手能力,手動編譯或者用NVIDIA docker 容器。

我搜到一個解決方案:Lambda Stack

Lambda Stack 的網址:

Lambda Stack: an AI software stack that's always up-to-date

簡介

Lambda Stack,提供一行程式碼安裝並可以管理升級,包含:Pythorch、TensorFlow、CUDA、cuDNN和NVIDIA驅動程式,它與Ubuntu 20.04 LTS,18.04 LTS和16.04 LTS兼容。配置深度學習環境變得非常簡單。

Lambda Stack 包括

  • 作業系統 Ubuntu 20.04, 18.04, 和 16.04(桌面版和伺服器版本都可以)
  • Docker images of Lambda Stack + Ubuntu: Lambda Stack Dockerfiles
  • 包含的深度學習框架: TensorFlow, Keras, PyTorch, Caffe, Caffe 2
  • 包含的GPU 軟體: CUDA, cuDNN, NVIDIA驅動
  • 包含工具: git, tmux, screen, vim, emacs, htop, valgrind, build-essential

系統要求

  • NVIDIA GPU (如 RTX 3090, 3080, 3070, 2080 Ti, Quadro RTX 8000)
  • Ubuntu 20.04, 18.04, and 16.04(桌面版和伺服器版本都可以)

使用說明

如果是桌面版的 Ubuntu 20.04, 18.04, 和 16.04,則:

安裝 Lambda Stack (桌面版)

LAMBDA_REPO=$(mktemp) && \
wget -O${LAMBDA_REPO} //lambdalabs.com/static/misc/lambda-stack-repo.deb && \
sudo dpkg -i ${LAMBDA_REPO} && rm -f ${LAMBDA_REPO} && \
sudo apt-get update && sudo apt-get install -y lambda-stack-cuda
sudo reboot

注意:安裝完畢會自動重啟,整個過程大概一小時

如果伺服器版的 Ubuntu 20.04, 18.04,則:

安裝 Lambda Stack (伺服器版)

LAMBDA_REPO=$(mktemp) && \
wget -O${LAMBDA_REPO} //lambdalabs.com/static/misc/lambda-stack-repo.deb && \
sudo dpkg -i ${LAMBDA_REPO} && rm -f ${LAMBDA_REPO} && \
sudo apt-get update && \
sudo apt-get --yes upgrade && \
sudo apt-get install --yes --no-install-recommends lambda-server && \
sudo apt-get install --yes --no-install-recommends nvidia-headless-450 && \
sudo apt-get install --yes --no-install-recommends lambda-stack-cuda

注意:安裝完畢需要重啟

如果伺服器版的 Ubuntu 16.04,則:

安裝 Lambda Stack (伺服器版)

LAMBDA_REPO=$(mktemp) && \
wget -O${LAMBDA_REPO} //lambdalabs.com/static/misc/lambda-stack-repo.deb && \
sudo dpkg -i ${LAMBDA_REPO} && rm -f ${LAMBDA_REPO} && \
sudo apt-get update && \
sudo apt-get --yes upgrade && \
sudo apt-get install --yes --no-install-recommends lambda-server && \
sudo apt-get install --yes --no-install-recommends nvidia-440 libcuda1-440 nvidia-opencl-icd-440 && \
sudo apt-get install --yes --no-install-recommends lambda-stack-cuda

注意:安裝完畢需要重啟

系統升級

如果有更新版本的 PyTorch、 TensorFlow、 CUDA 或 cuDNN 發布,只需運行:

sudo apt-get update && sudo apt-get dist-upgrade

然後重啟。

Docker方式安裝

也可以使用docker的方式安裝(在Ubuntu20.04 LTS環境下),也只需要一行程式碼:(網速關係,可能需要4個來小時)

# Build a Docker image for Ubuntu 20.04 (focal). You can substitute focal for bionic or xenial to change the ubuntu version.
sudo docker build -t lambda-stack:20.04 -f Dockerfile.focal git://github.com/lambdal/lambda-stack-dockerfiles.git


使用Lambda Stack

1.正常安裝方式:只需要運行python命令即可進入,可以使用Tensorflow/PyTorch

$ python
>>> import tensorflow
>>> tensorflow.__version__
'2.3.0'
>>> import torch
>>> torch.__version__
'1.6.0'

2.Docker方式安裝:需要運行docker鏡像:

 sudo docker run -it ubuntu /bin/bash #ubuntu代表鏡像名稱,需要更改

注意事項

pip如果沒有安裝,需要安裝wget和pip(docker里沒有這兩個命令,需要安裝)

sudo apt-get install wget

wget //bootstrap.pypa.io/get-pip.py -o get-pip.py

python get-pip.py


Tags: