TensorFlow2.0（六）：Dataset
- 2019 年 10 月 14 日
- 筆記
在整個機器學習過程中，除了訓練模型外，應該就屬數據預處理過程消耗的精力最多，數據預處理過程需要完成的任務包括數據讀取、過濾、轉換等等。為了將用戶從繁雜的預處理操作中解放處理，更多地將精力放在演算法建模上，TensorFlow中提供了data模組，這一模組以多種方式提供了數據讀取、數據處理、數據保存等功能。本文重點是data模組中的Dataset對象。
1 創建¶
對於創建Dataset對象，官方文檔中總結為兩種方式，我將這兩種方式細化後總結為4中方式：
（1）通過Dataset中的range()方法創建包含一定序列的Dataset對象。
range()方法是Dataset內部定義的一個的靜態方法，可以直接通過類名調用。另外，Dataset中的range()方法與Python本身內置的range()方法接受參數形式是一致的，可以接受range(begin)、range(begin, end)、range（begin, end, step）等多種方式傳參。
import tensorflow as tf import numpy as np
dataset1 = tf.data.Dataset.range(5) type(dataset1)
註：RangeDataset是Dataset的一個子類。 Dataset對象屬於可迭代對象，可通過循環進行遍歷：
for i in dataset1: print(i) print(i.numpy())
可以看到，range()方法創建的Dataset對象內部每一個元素都以Tensor對象的形式存在，可以通過numpy()方法訪問真實值。
如果你覺得range()方法不夠靈活，功能不夠強大，那麼你可以嘗試使用from_generator()方法。from_generator()方法接收一個可調用的生成器函數最為參數，在遍歷from_generator()方法返回的Dataset對象過程中不斷生成新的數據，減少記憶體佔用，這在大數據集中很有用。
def count(stop): i = 0 while i<stop: print('第%s次調用……'%i) yield i i += 1
dataset2 = tf.data.Dataset.from_generator(count, args=[3], output_types=tf.int32, output_shapes = (), )
a = iter(dataset2)
next(a)
next(a)
for i in dataset2: print(i) print(i.numpy())
（2）通過接收其他類型的集合類對象創建Dataset對象。這裡所說的集合類型對象包含Python內置的list、tuple，numpy中的ndarray等等。這種創建Dataset對象的方法大多通過from_tensors()和from_tensor_slices()兩個方法實現。這兩個方法很常用，重點說一說。
- from_tensors()
from_tensors()方法接受一個集合類型對象作為參數，返回值為一個TensorDataset類型對象，對象內容、shape因傳入參數類型而異。
當接收參數為list或Tensor對象時，返回的情況是一樣的，因為TensorFlow內部會將list先轉為Tensor對象，然後實例化一個Dataset對象：
a = [0,1,2,3,4] dataset1 = tf.data.Dataset.from_tensors(a) dataset1_n = tf.data.Dataset.from_tensors(np.array(a)) dataset1_t = tf.data.Dataset.from_tensors(tf.constant(a))
dataset1,next(iter(dataset1))
dataset1_n,next(iter(dataset1_n))
dataset1_t,next(iter(dataset1_t))
多維結構也是一樣的：
a = [0,1,2,3,4] b = [5,6,7,8,9] dataset2 = tf.data.Dataset.from_tensors([a,b]) dataset2_n = tf.data.Dataset.from_tensors(np.array([a,b])) dataset2_t = tf.data.Dataset.from_tensors(tf.constant([a,b]))
dataset2,next(iter(dataset2))
dataset2_n,next(iter(dataset2_n))
dataset2_t,next(iter(dataset2_t))
當接收參數為數組就不一樣了，此時Dataset內部內容為一個tuple，tuple的元素是原來tuple元素轉換為的Tensor對象：
a = [0,1,2,3,4] b = [5,6,7,8,9] dataset3 = tf.data.Dataset.from_tensors((a,b))
for i in dataset3: print(type(i)) print(i) for j in i: print(j)
- from_tensor_slices()
from_tensor_slices()方法返回一個TensorSliceDataset類對象，TensorSliceDataset對象比from_tensors()方法返回的TensorDataset對象支援更加豐富的操作，例如batch操作等，因此在實際應用中更加廣泛。返回的TensorSliceDataset對象內容、shape因傳入參數類型而異。
當傳入一個list時，時將list中元素逐個轉換為Tensor對象然後依次放入Dataset中，所以Dataset中有多個Tensor對象：
a = [0,1,2,3,4] dataset1 = tf.data.Dataset.from_tensor_slices(a)
dataset1
for i,elem in enumerate(dataset1): print(i, '-->', elem)
a = [0,1,2,3,4] b = [5,6,7,8,9] dataset2 = tf.data.Dataset.from_tensor_slices([a,b])
dataset2
for i,elem in enumerate(dataset2): print(i, '-->', elem)
當傳入參數為tuple時，會將tuple中各元素轉換為Tensor對象，然後將第一維度對應位置的切片進行重新組合成一個tuple依次放入到Dataset中，所以在返回的Dataset中有多個tuple。這種形式在對訓練集和測試集進行重新組合是非常實用。
a = [0,1,2,3,4] b = [5,6,7,8,9] dataset1 = tf.data.Dataset.from_tensor_slices((a,b))
dataset1
for i in dataset1: print(i)
c = ['a','b','c','d','e'] dataset3 = tf.data.Dataset.from_tensor_slices((a,b,c))
dataset3
for i in dataset3: print(i)
對比總結一下from_generator(）、from_tensor()、from_tensor_slices()這三個方法：
- from_tensors()在形式上與from_tensor_slices()很相似，但其實from_tensors()方法出場頻率上比from_tensor_slices()差太多，因為from_tensor_slices()的功能更加符合實際需求，且返回的TensorSliceDataset對象也提供更多的數據處理功能。from_tensors()方法在接受list類型參數時，將整個list轉換為Tensor對象放入Dataset中，當接受參數為tuple時，將tuple內元素轉換為Tensor對象，然後將這個tuple放入Dataset中。
- from_generator(）方法接受一個可調用的生成器函數作為參數，在遍歷Dataset對象時，通過通用生成器函數繼續生成新的數據供訓練和測試模型使用，這在大數據集合中很實用。
- from_tensor_slices()方法接受參數為list時，將list各元素依次轉換為Tensor對象，然後依次放入Dataset中；更為常見的情況是接受的參數為tuple，在這種情況下，要求tuple中各元素第一維度長度必須相等，from_tensor_slices()方法會將tuple各元素第一維度進行拆解，然後將對應位置的元素進行重組成一個個tuple依次放入Dataset中，這一功能在重新組合數據集屬性和標籤時很有用。另外，from_tensor_slices()方法返回的TensorSliceDataset對象支援batch、shuffle等等功能對數據進一步處理。
（3）通過讀取磁碟中的文件（文本、圖片等等）來創建Dataset。tf.data中提供了TextLineDataset、TFRecordDataset等對象來實現此功能。這部分內容比較多，也比較重要，我打算後續用專門一篇部落格來總結這部分內容。
2 功能函數¶
（1）take()
功能：用於返回一個新的Dataset對象，新的Dataset對象包含的數據是原Dataset對象的子集。
參數：
- count：整型，用於指定前count條數據用於創建新的Dataset對象，如果count為-1或大於原Dataset對象的size,則用原Dataset對象的全部數據創建新的對象。
dataset = tf.data.Dataset.range(10) dataset_take = dataset.take(5)
for i in dataset_take: print(i)
（2）batch()
功能：將Dataset中連續的數據分割成批。
參數：
- batch_size：在單個批次中合併的此數據集的連續元素數。
- drop_remainder：如果最後一批的數據量少於指定的batch_size，是否拋棄最後一批，默認為False，表示不拋棄。
dataset = tf.data.Dataset.range(11) dataset_batch = dataset.batch(3)
for i in dataset_batch: print(i)
dataset_batch = dataset.batch(3,drop_remainder=True)
for i in dataset_batch: print(i)
train_x = tf.random.uniform((10,3),maxval=100, dtype=tf.int32) train_y = tf.range(10)
dataset = tf.data.Dataset.from_tensor_slices((train_x, train_y))
for i in dataset.take(3): print(i)
dataset_batch = dataset.batch(4)
for i in dataset_batch: print(i)
為什麼在訓練模型時要將Dataset分割成一個個batch呢？
- 對於小數據集是否使用batch關係不大，但是對於大數據集如果不分割成batch意味著將這個數據集一次性輸入模型中，容易造成記憶體爆炸。
- 通過並行化提高記憶體的利用率。就是盡量讓你的GPU滿載運行，提高訓練速度。
- 單個epoch的迭代次數減少了，參數的調整也慢了，假如要達到相同的識別精度，需要更多的epoch。
- 適當Batch Size使得梯度下降方向更加準確。
（3）padded_batch()
功能： batch()的進階版，可以對shape不一致的連續元素進行分批。
參數：
- batch_size：在單個批次中合併的此數據集的連續元素個數。
- padded_shapes：tf.TensorShape或其他描述tf.int64矢量張量對象，表示在批處理之前每個輸入元素的各個組件應填充到的形狀。如果參數中有None，則表示將填充為每個批次中該尺寸的最大尺寸。
- padding_values：要用於各個組件的填充值。默認值0用於數字類型，字元串類型則默認為空字元。
- drop_remainder：如果最後一批的數據量少於指定的batch_size，是否拋棄最後一批，默認為False，表示不拋棄。
dataset = tf.data.Dataset.range(10)
dataset = dataset.map(lambda x: tf.fill([tf.cast(x, tf.int32)], x))
dataset_padded = dataset.padded_batch(4, padded_shapes=(None,))
for batch in dataset_padded: print(batch.numpy()) print('---------------------')
dataset_padded = dataset.padded_batch(4, padded_shapes=(10,),padding_values=tf.constant(9,dtype=tf.int64)) # 修改填充形狀和填充元素
for batch in dataset_padded: print(batch.numpy()) print('---------------------')
（4）map()
功能： 以dataset中每一位元素為參數執行pap_func()方法，這一功能在數據預處理中修改dataset中元素是很實用。
參數：
- map_func:回調方法。
def change_dtype(t): # 將類型修改為int32 return tf.cast(t,dtype=tf.int32)
dataset = tf.data.Dataset.range(3)
for i in dataset: print(i)
dataset_map = dataset.map(change_dtype)
for i in dataset_map: print(i)
map_func的參數必須對應dataset中的元素類型，例如，如果dataset中元素是tuple，map_func可以這麼定義：
def change_dtype_2(t1,t2): return t1/10,tf.cast(t2,dtype=tf.int32)*(-1) # 第一位元素除以10，第二為元素乘以-1
dataset = tf.data.Dataset.from_tensor_slices((tf.range(3),tf.range(3)))
dataset_map = dataset.map(change_dtype_2)
for i in dataset_map: print(i)
（5）filter()
功能：對Dataset中每一個執行指定過濾方法進行過濾，返回過濾後的Dataset對象
參數：
- predicate：過濾方法，返回值必須為True或False
dataset = tf.data.Dataset.range(5)
def filter_func(t): # 過濾出值為偶數的元素 if t % 2 == 0: return True else: return False
dataset_filter = dataset.filter(filter_func)
for i in dataset_filter: print(i)
（6）shuffle()
功能：隨機打亂數據
參數：
- buffer_size：緩衝區大小，姑且認為是混亂程度吧，當值為1時，完全不打亂，當值為整個Dataset元素總數時，完全打亂。
- seed：將用於創建分布的隨機種子。
- reshuffle_each_iteration：如果為true，則表示每次迭代數據集時都應進行偽隨機重排，默認為True。
dataset = tf.data.Dataset.range(5)
dataset_s = dataset.shuffle(1)
for i in dataset_s: print(i)
dataset_s = dataset.shuffle(5)
for i in dataset_s: print(i)
（7）repeat()
功能：對Dataset中的數據進行重複，以創建新的Dataset
參數：
- count：重複次數，默認為None，表示不重複，當值為-1時，表示無限重複。
dataset = tf.data.Dataset.range(3)
dataset_repeat = dataset.repeat(3)
for i in dataset_repeat: print(i)
