【Pytorch填坑記】PyTorch 踩過的 12 坑

• 2019 年 12 月 6 日
• 筆記

作者：hyk_1996

來源：AI有道

作者 | hyk_1996

來源 | CSDN部落格

1. nn.Module.cuda() 和 Tensor.cuda() 的作用效果差異

無論是對於模型還是數據，cuda()函數都能實現從CPU到GPU的記憶體遷移，但是他們的作用效果有所不同。

對於nn.Module:

model = model.cuda()  model.cuda() 

上面兩句能夠達到一樣的效果，即對model自身進行的記憶體遷移。

對於Tensor:

和nn.Module不同，調用tensor.cuda()只是返回這個tensor對象在GPU記憶體上的拷貝，而不會對自身進行改變。因此必須對tensor進行重新賦值，即tensor=tensor.cuda().

例子:

model = create_a_model()  tensor = torch.zeros([2,3,10,10])  model.cuda()  tensor.cuda()  model(tensor)    # 會報錯  tensor = tensor.cuda()  model(tensor)    # 正常運行

2. PyTorch 0.4 計算累積損失的不同

以廣泛使用的模式total_loss += loss.data[0]為例。Python0.4.0之前，loss是一個封裝了(1,)張量的Variable，但Python0.4.0的loss現在是一個零維的標量。對標量進行索引是沒有意義的（似乎會報 invalid index to scalar variable 的錯誤）。使用loss.item()可以從標量中獲取Python數字。所以改為：

total_loss += loss.item()

如果在累加損失時未將其轉換為Python數字，則可能出現程式記憶體使用量增加的情況。這是因為上面表達式的右側原本是一個Python浮點數，而它現在是一個零維張量。因此，總損失累加了張量和它們的梯度歷史，這可能會產生很大的autograd 圖，耗費記憶體和計算資源。

3. PyTorch 0.4 編寫不限制設備的程式碼

# torch.device object used throughout this script  device = torch.device("cuda" if use_cuda else "cpu")  model = MyRNN().to(device)    # train  total_loss= 0  for input, target in train_loader:      input, target = input.to(device), target.to(device)      hidden = input.new_zeros(*h_shape)       # has the same device & dtype as `input`      ...                                                               # get loss and optimize      total_loss += loss.item()    # test  with torch.no_grad():                                    # operations inside don t track history      for input, targetin test_loader:          ...

4. torch.Tensor.detach()的使用

detach()的官方說明如下：

Returns a new Tensor, detached from the current graph.      The result will never require gradient.

假設有模型A和模型B，我們需要將A的輸出作為B的輸入，但訓練時我們只訓練模型B. 那麼可以這樣做：

input_B = output_A.detach()

它可以使兩個計算圖的梯度傳遞斷開，從而實現我們所需的功能。

5. ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm)

出現這個錯誤的情況是，在伺服器上的docker中運行訓練程式碼時，batch size設置得過大，shared memory不夠（因為docker限制了shm）.解決方法是，將Dataloader的num_workers設置為0.

6. pytorch中loss函數的參數設置

以CrossEntropyLoss為例：

CrossEntropyLoss(self, weight=None, size_average=None, ignore_index=-100, reduce=None, reduction= elementwise_mean )

• 若 reduce = False，那麼 size_average 參數失效，直接返迴向量形式的 loss，即batch中每個元素對應的loss.
• 若 reduce = True，那麼 loss 返回的是標量：
  • 如果 size_average = True，返回 loss.mean().
  • 如果 size_average = False，返回 loss.sum().
• weight : 輸入一個1D的權值向量，為各個類別的loss加權，如下公式所示：

• ignore_index : 選擇要忽視的目標值，使其對輸入梯度不作貢獻。如果 size_average = True，那麼只計算不被忽視的目標的loss的均值。
• reduction : 可選的參數有：『none』 | 『elementwise_mean』 | 『sum』, 正如參數的字面意思，不解釋。

7. pytorch的可重複性問題

參考這篇博文：

https://blog.csdn.net/hyk_1996/article/details/84307108

8. 多GPU的處理機制

使用多GPU時，應該記住pytorch的處理邏輯是：

1)在各個GPU上初始化模型。

2)前向傳播時，把batch分配到各個GPU上進行計算。

3)得到的輸出在主GPU上進行匯總，計算loss並反向傳播，更新主GPU上的權值。

4)把主GPU上的模型複製到其它GPU上。

9. num_batches_tracked參數

今天讀取模型參數時出現了錯誤

KeyError: unexpected key "module.bn1.num_batches_tracked" in state_dict

經過研究發現，在pytorch 0.4.1及後面的版本里，BatchNorm層新增了num_batches_tracked參數，用來統計訓練時的forward過的batch數目，源碼如下（pytorch0.4.1）：

    if self.training and self.track_running_stats:          self.num_batches_tracked += 1          if self.momentum is None:  # use cumulative moving average              exponential_average_factor = 1.0 / self.num_batches_tracked.item()          else:  # use exponential moving average              exponential_average_factor = self.momentum

大概可以看出，這個參數和訓練時的歸一化的計算方式有關。

因此，我們可以知道該錯誤是由於訓練和測試所用的pytorch版本(0.4.1版本前後的差異)不一致引起的。具體的解決方案是：如果是模型參數（Orderdict格式，很容易修改）里少了num_batches_tracked變數，就加上去，如果是多了就刪掉。偷懶的做法是將load_state_dict的strict參數置為False，如下所示：

load_state_dict(torch.load(weight_path), strict=False)

還看到有人直接修改pytorch 0.4.1的源程式碼把num_batches_tracked參數刪掉的，這就非常不建議了。

10. 訓練時損失出現nan的問題

最近在訓練模型時出現了損失為nan的情況，發現是個大坑。暫時先記錄著。

可能導致梯度出現nan的三個原因：

1.梯度爆炸。也就是說梯度數值超出範圍變成nan. 通常可以調小學習率、加BN層或者做梯度裁剪來試試看有沒有解決。

2.損失函數或者網路設計。比方說，出現了除0，或者出現一些邊界情況導致函數不可導，比方說log(0)、sqrt(0).

3.臟數據。可以事先對輸入數據進行判斷看看是否存在nan.

補充一下nan數據的判斷方法：

注意！像nan或者inf這樣的數值不能使用 == 或者 is 來判斷！為了安全起見統一使用 math.isnan() 或者 numpy.isnan() 吧。

例如：

import numpy as np    # 判斷輸入數據是否存在nan  if np.any(np.isnan(input.cpu().numpy())):    print( Input data has NaN! )    # 判斷損失是否為nan  if np.isnan(loss.item()):    print( Loss value is NaN! )

11. ValueError: Expected more than 1 value per channel when training

當batch里只有一個樣本時，再調用batch_norm就會報下面這個錯誤：

  raise ValueError( Expected more than 1 value per channel when training, got input size {} .format(size))

沒有什麼特別好的解決辦法，在訓練前用 num_of_samples % batch_size 算一下會不會正好剩下一個樣本。

12. 優化器的weight_decay項導致的隱蔽bug

我們都知道weight_decay指的是權值衰減，即在原損失的基礎上加上一個L2懲罰項，使得模型趨向於選擇更小的權重參數，起到正則化的效果。但是我經常會忽略掉這一項的存在，從而引發了意想不到的問題。

這次的坑是這樣的，在訓練一個ResNet50的時候，網路的高層部分layer4暫時沒有用到，因此也並不會有梯度回傳，於是我就放心地將ResNet50的所有參數都傳遞給Optimizer進行更新了，想著layer4應該能保持原來的權重不變才對。但是實際上，儘管layer4沒有梯度回傳，但是weight_decay的作用仍然存在，它使得layer4權值越來越小，趨向於0。後面需要用到layer4的時候，發現輸出異常（接近於0），才注意到這個問題的存在。

雖然這樣的情況可能不容易遇到，但是還是要謹慎：暫時不需要更新的權值，一定不要傳遞給Optimizer，避免不必要的麻煩。