使用Pytorch进行多卡训练
- 2022 年 10 月 12 日
- 筆記
当一块GPU不够用时，我们就需要使用多卡进行并行训练。其中多卡并行可分为数据并行和模型并行。具体区别如下图所示： …
Continue Reading
Pytorch训练时显存分配过程探究
- 2020 年 12 月 9 日
- 筆記
对于显存不充足的炼丹研究者来说，弄清楚Pytorch显存的分配机制是很有必要的。下面直接通过实验来推出Pytorch …
Continue Reading
Pytorch显存动态分配规律探索
- 2020 年 11 月 16 日
- 筆記
下面通过实验来探索Pytorch分配显存的方式。 实验 显存到主存 我使用VSCode的jupyter来进行实验 …
Continue Reading
直接理解转置卷积（Transposed convolution）的各种情况
- 2020 年 10 月 29 日
- 筆記
使用GAN生成图像必不可少的层就是上采样，其中最常用的就是转置卷积（Transposed Convolution）。 …
Continue Reading
使用Pytorch搭建模型
- 2020 年 10 月 25 日
- 筆記
本来是只用Tenorflow的，但是因为TF有些Numpy特性并不支持，比如对数组使用列表进行切片，所以只能转战Py …
Continue Reading