TensorFlow2.0（六）：Dataset
- 2019 年 10 月 14 日
- 筆記
在整个机器学习过程中，除了训练模型外，应该就属数据预处理过程消耗的精力最多，数据预处理过程需要完成的任务包括数据读取、过滤、转换等等。为了将用户从繁杂的预处理操作中解放处理，更多地将精力放在算法建模上，TensorFlow中提供了data模块，这一模块以多种方式提供了数据读取、数据处理、数据保存等功能。本文重点是data模块中的Dataset对象。
1 创建¶
对于创建Dataset对象，官方文档中总结为两种方式，我将这两种方式细化后总结为4中方式：
（1）通过Dataset中的range()方法创建包含一定序列的Dataset对象。
range()方法是Dataset内部定义的一个的静态方法，可以直接通过类名调用。另外，Dataset中的range()方法与Python本身内置的range()方法接受参数形式是一致的，可以接受range(begin)、range(begin, end)、range（begin, end, step）等多种方式传参。
import tensorflow as tf import numpy as np
dataset1 = tf.data.Dataset.range(5) type(dataset1)
注：RangeDataset是Dataset的一个子类。 Dataset对象属于可迭代对象，可通过循环进行遍历：
for i in dataset1: print(i) print(i.numpy())
可以看到，range()方法创建的Dataset对象内部每一个元素都以Tensor对象的形式存在，可以通过numpy()方法访问真实值。
如果你觉得range()方法不够灵活，功能不够强大，那么你可以尝试使用from_generator()方法。from_generator()方法接收一个可调用的生成器函数最为参数，在遍历from_generator()方法返回的Dataset对象过程中不断生成新的数据，减少内存占用，这在大数据集中很有用。
def count(stop): i = 0 while i<stop: print('第%s次调用……'%i) yield i i += 1
dataset2 = tf.data.Dataset.from_generator(count, args=[3], output_types=tf.int32, output_shapes = (), )
a = iter(dataset2)
next(a)
next(a)
for i in dataset2: print(i) print(i.numpy())
（2）通过接收其他类型的集合类对象创建Dataset对象。这里所说的集合类型对象包含Python内置的list、tuple，numpy中的ndarray等等。这种创建Dataset对象的方法大多通过from_tensors()和from_tensor_slices()两个方法实现。这两个方法很常用，重点说一说。
- from_tensors()
from_tensors()方法接受一个集合类型对象作为参数，返回值为一个TensorDataset类型对象，对象内容、shape因传入参数类型而异。
当接收参数为list或Tensor对象时，返回的情况是一样的，因为TensorFlow内部会将list先转为Tensor对象，然后实例化一个Dataset对象：
a = [0,1,2,3,4] dataset1 = tf.data.Dataset.from_tensors(a) dataset1_n = tf.data.Dataset.from_tensors(np.array(a)) dataset1_t = tf.data.Dataset.from_tensors(tf.constant(a))
dataset1,next(iter(dataset1))
dataset1_n,next(iter(dataset1_n))
dataset1_t,next(iter(dataset1_t))
多维结构也是一样的：
a = [0,1,2,3,4] b = [5,6,7,8,9] dataset2 = tf.data.Dataset.from_tensors([a,b]) dataset2_n = tf.data.Dataset.from_tensors(np.array([a,b])) dataset2_t = tf.data.Dataset.from_tensors(tf.constant([a,b]))
dataset2,next(iter(dataset2))
dataset2_n,next(iter(dataset2_n))
dataset2_t,next(iter(dataset2_t))
当接收参数为数组就不一样了，此时Dataset内部内容为一个tuple，tuple的元素是原来tuple元素转换为的Tensor对象：
a = [0,1,2,3,4] b = [5,6,7,8,9] dataset3 = tf.data.Dataset.from_tensors((a,b))
for i in dataset3: print(type(i)) print(i) for j in i: print(j)
- from_tensor_slices()
from_tensor_slices()方法返回一个TensorSliceDataset类对象，TensorSliceDataset对象比from_tensors()方法返回的TensorDataset对象支持更加丰富的操作，例如batch操作等，因此在实际应用中更加广泛。返回的TensorSliceDataset对象内容、shape因传入参数类型而异。
当传入一个list时，时将list中元素逐个转换为Tensor对象然后依次放入Dataset中，所以Dataset中有多个Tensor对象：
a = [0,1,2,3,4] dataset1 = tf.data.Dataset.from_tensor_slices(a)
dataset1
for i,elem in enumerate(dataset1): print(i, '-->', elem)
a = [0,1,2,3,4] b = [5,6,7,8,9] dataset2 = tf.data.Dataset.from_tensor_slices([a,b])
dataset2
for i,elem in enumerate(dataset2): print(i, '-->', elem)
当传入参数为tuple时，会将tuple中各元素转换为Tensor对象，然后将第一维度对应位置的切片进行重新组合成一个tuple依次放入到Dataset中，所以在返回的Dataset中有多个tuple。这种形式在对训练集和测试集进行重新组合是非常实用。
a = [0,1,2,3,4] b = [5,6,7,8,9] dataset1 = tf.data.Dataset.from_tensor_slices((a,b))
dataset1
for i in dataset1: print(i)
c = ['a','b','c','d','e'] dataset3 = tf.data.Dataset.from_tensor_slices((a,b,c))
dataset3
for i in dataset3: print(i)
对比总结一下from_generator(）、from_tensor()、from_tensor_slices()这三个方法：
- from_tensors()在形式上与from_tensor_slices()很相似，但其实from_tensors()方法出场频率上比from_tensor_slices()差太多，因为from_tensor_slices()的功能更加符合实际需求，且返回的TensorSliceDataset对象也提供更多的数据处理功能。from_tensors()方法在接受list类型参数时，将整个list转换为Tensor对象放入Dataset中，当接受参数为tuple时，将tuple内元素转换为Tensor对象，然后将这个tuple放入Dataset中。
- from_generator(）方法接受一个可调用的生成器函数作为参数，在遍历Dataset对象时，通过通用生成器函数继续生成新的数据供训练和测试模型使用，这在大数据集合中很实用。
- from_tensor_slices()方法接受参数为list时，将list各元素依次转换为Tensor对象，然后依次放入Dataset中；更为常见的情况是接受的参数为tuple，在这种情况下，要求tuple中各元素第一维度长度必须相等，from_tensor_slices()方法会将tuple各元素第一维度进行拆解，然后将对应位置的元素进行重组成一个个tuple依次放入Dataset中，这一功能在重新组合数据集属性和标签时很有用。另外，from_tensor_slices()方法返回的TensorSliceDataset对象支持batch、shuffle等等功能对数据进一步处理。
（3）通过读取磁盘中的文件（文本、图片等等）来创建Dataset。tf.data中提供了TextLineDataset、TFRecordDataset等对象来实现此功能。这部分内容比较多，也比较重要，我打算后续用专门一篇博客来总结这部分内容。
2 功能函数¶
（1）take()
功能：用于返回一个新的Dataset对象，新的Dataset对象包含的数据是原Dataset对象的子集。
参数：
- count：整型，用于指定前count条数据用于创建新的Dataset对象，如果count为-1或大于原Dataset对象的size,则用原Dataset对象的全部数据创建新的对象。
dataset = tf.data.Dataset.range(10) dataset_take = dataset.take(5)
for i in dataset_take: print(i)
（2）batch()
功能：将Dataset中连续的数据分割成批。
参数：
- batch_size：在单个批次中合并的此数据集的连续元素数。
- drop_remainder：如果最后一批的数据量少于指定的batch_size，是否抛弃最后一批，默认为False，表示不抛弃。
dataset = tf.data.Dataset.range(11) dataset_batch = dataset.batch(3)
for i in dataset_batch: print(i)
dataset_batch = dataset.batch(3,drop_remainder=True)
for i in dataset_batch: print(i)
train_x = tf.random.uniform((10,3),maxval=100, dtype=tf.int32) train_y = tf.range(10)
dataset = tf.data.Dataset.from_tensor_slices((train_x, train_y))
for i in dataset.take(3): print(i)
dataset_batch = dataset.batch(4)
for i in dataset_batch: print(i)
为什么在训练模型时要将Dataset分割成一个个batch呢？
- 对于小数据集是否使用batch关系不大，但是对于大数据集如果不分割成batch意味着将这个数据集一次性输入模型中，容易造成内存爆炸。
- 通过并行化提高内存的利用率。就是尽量让你的GPU满载运行，提高训练速度。
- 单个epoch的迭代次数减少了，参数的调整也慢了，假如要达到相同的识别精度，需要更多的epoch。
- 适当Batch Size使得梯度下降方向更加准确。
（3）padded_batch()
功能： batch()的进阶版，可以对shape不一致的连续元素进行分批。
参数：
- batch_size：在单个批次中合并的此数据集的连续元素个数。
- padded_shapes：tf.TensorShape或其他描述tf.int64矢量张量对象，表示在批处理之前每个输入元素的各个组件应填充到的形状。如果参数中有None，则表示将填充为每个批次中该尺寸的最大尺寸。
- padding_values：要用于各个组件的填充值。默认值0用于数字类型，字符串类型则默认为空字符。
- drop_remainder：如果最后一批的数据量少于指定的batch_size，是否抛弃最后一批，默认为False，表示不抛弃。
dataset = tf.data.Dataset.range(10)
dataset = dataset.map(lambda x: tf.fill([tf.cast(x, tf.int32)], x))
dataset_padded = dataset.padded_batch(4, padded_shapes=(None,))
for batch in dataset_padded: print(batch.numpy()) print('---------------------')
dataset_padded = dataset.padded_batch(4, padded_shapes=(10,),padding_values=tf.constant(9,dtype=tf.int64)) # 修改填充形状和填充元素
for batch in dataset_padded: print(batch.numpy()) print('---------------------')
（4）map()
功能： 以dataset中每一位元素为参数执行pap_func()方法，这一功能在数据预处理中修改dataset中元素是很实用。
参数：
- map_func:回调方法。
def change_dtype(t): # 将类型修改为int32 return tf.cast(t,dtype=tf.int32)
dataset = tf.data.Dataset.range(3)
for i in dataset: print(i)
dataset_map = dataset.map(change_dtype)
for i in dataset_map: print(i)
map_func的参数必须对应dataset中的元素类型，例如，如果dataset中元素是tuple，map_func可以这么定义：
def change_dtype_2(t1,t2): return t1/10,tf.cast(t2,dtype=tf.int32)*(-1) # 第一位元素除以10，第二为元素乘以-1
dataset = tf.data.Dataset.from_tensor_slices((tf.range(3),tf.range(3)))
dataset_map = dataset.map(change_dtype_2)
for i in dataset_map: print(i)
（5）filter()
功能：对Dataset中每一个执行指定过滤方法进行过滤，返回过滤后的Dataset对象
参数：
- predicate：过滤方法，返回值必须为True或False
dataset = tf.data.Dataset.range(5)
def filter_func(t): # 过滤出值为偶数的元素 if t % 2 == 0: return True else: return False
dataset_filter = dataset.filter(filter_func)
for i in dataset_filter: print(i)
（6）shuffle()
功能：随机打乱数据
参数：
- buffer_size：缓冲区大小，姑且认为是混乱程度吧，当值为1时，完全不打乱，当值为整个Dataset元素总数时，完全打乱。
- seed：将用于创建分布的随机种子。
- reshuffle_each_iteration：如果为true，则表示每次迭代数据集时都应进行伪随机重排，默认为True。
dataset = tf.data.Dataset.range(5)
dataset_s = dataset.shuffle(1)
for i in dataset_s: print(i)
dataset_s = dataset.shuffle(5)
for i in dataset_s: print(i)
（7）repeat()
功能：对Dataset中的数据进行重复，以创建新的Dataset
参数：
- count：重复次数，默认为None，表示不重复，当值为-1时，表示无限重复。
dataset = tf.data.Dataset.range(3)
dataset_repeat = dataset.repeat(3)
for i in dataset_repeat: print(i)
