使用Pytorch進行多卡訓練
- 2022 年 10 月 12 日
- 筆記
當一塊GPU不夠用時，我們就需要使用多卡進行並行訓練。其中多卡並行可分為數據並行和模型並行。具體區別如下圖所示： …
Continue Reading
Pytorch訓練時顯示記憶體分配過程探究
- 2020 年 12 月 9 日
- 筆記
對於顯示記憶體不充足的煉丹研究者來說，弄清楚Pytorch顯示記憶體的分配機制是很有必要的。下面直接通過實驗來推出Pytorch …
Continue Reading
Pytorch顯示記憶體動態分配規律探索
- 2020 年 11 月 16 日
- 筆記
下面通過實驗來探索Pytorch分配顯示記憶體的方式。 實驗 顯示記憶體到主存 我使用VSCode的jupyter來進行實驗 …
Continue Reading
直接理解轉置卷積（Transposed convolution）的各種情況
- 2020 年 10 月 29 日
- 筆記
使用GAN生成影像必不可少的層就是上取樣，其中最常用的就是轉置卷積（Transposed Convolution）。 …
Continue Reading
使用Pytorch搭建模型
- 2020 年 10 月 25 日
- 筆記
本來是只用Tenorflow的，但是因為TF有些Numpy特性並不支援，比如對數組使用列表進行切片，所以只能轉戰Py …
Continue Reading