TensorFlow2.0（一）：基本數據結構——張量
- 2019 年 10 月 3 日
- 筆記
1引言¶
TensorFlow2.0版本已經發布，雖然不是正式版，但預覽版都發布了，正式版還會遠嗎？相比於1.X，2.0版的TensorFlow修改的不是一點半點，這些修改極大的彌補了1.X版本的反人類設計，提升了框架的整體易用性，絕對好評！
趕緊來學習一波吧，做最先吃螃蟹的那一批人！先從TensorFlow的基本數據結構——張量（tensor）開始。
2 創建¶
2.1 constant()方法¶
import tensorflow as tf
tf.constant(1) # 創建一個整型張量
tf.constant(1.) # 創建一個浮點型張量
tf.constant(2., dtype=tf.double) # 創建的同時指定數據類型
tf.constant([[1.,2.,3.],[4.,5.,6.]]) # 通過傳入一個list參數創建
如果輸入的數據與指定的數據類型不相符，會產生以下異常：
TypeError: Cannot convert provided value to EagerTensor. Provided value: 2.1 Requested dtype: int32
2.2 convert_to_tensor()方法¶
import numpy as np
tf.convert_to_tensor(np.ones([2, 3]))
tf.convert_to_tensor(np.ones([2, 3]))
tf.convert_to_tensor([[2.,3.],[3., 4.]])
2.3 創建元素為指定值的tensor¶
如果你熟悉numpy創建數組的方法，你一定見過zeros()、ones()等方法，TensorFlow中也有這些方法。
（1）zeros()與ones()
a = tf.zeros([2, 3, 3]) # 創建一個元素全為0，形狀為[2, 3, 3]的tensor
a
b = tf.ones([2, 3]) # 創建一個元素全為1，形狀為[2, 3]的tensor
b
（2）zeros_like()與ones_like
tf.zeros_like(b) # 仿照b的shape創建一個全為0的tensor
tf.ones_like(a) # 仿照b的shape創建一個全為1的tensor
（3）fill()
tf.fill([2,3],5) # 創建元素全為5，形狀為[2,3]的tensor
2.4 隨機初始化¶
在實際應用中，經常需要隨機初始化元素服從某種分布的tensor，TensorFlow中也提供了這種功能。
（1）從指定正態分布中隨機取值：tf.random.normal()。例如，隨機初始化一個元素服從均值為1，方差為1的正態分布且形狀為[2, 3]的tensor：
tf.random.normal([2, 3], mean=1, stddev=1)
（2）從指定的截斷正態分布中隨機取值：truncated_normal()。意思是從指定的正太分布中取值，但是取值範圍在兩個標準差範圍內，也就是：[ mean – 2 stddev, mean + 2 stddev ]
tf.random.truncated_normal([2, 3], mean=1, stddev=1)
（3）從指定均勻分布中隨機取值：tf.random.uniform()。
tf.random.uniform([2, 3], minval=1, maxval=2) # 在1~2之間均勻分布
3 索引¶
a = tf.convert_to_tensor(np.arange(80).reshape(2,2,4,5))
a
3.1 基礎索引¶
TensorFlow支援Python原生的基礎索引方式，即多個方括弧逐步索引取值：[idx][idx][idx]，每個方括弧對應一個維度。
a[0] # 取第一個維度
a[0][1] # 同時篩選兩個維度
a[0][1][3][3] # 同時對4個維度進行篩選
這種索引數據的方法簡單，易於理解，但是可讀性差，只能按維度依次索引數據，也不能索引列。
3.2 numpy索引¶
TensorFlow也繼承了numpy中的部分索引方式，如果對numpy索引方式不熟悉，可以查看我的前幾篇部落格。
（1）[idx1, idx2, idx3]
這種索引方式是在一個方括弧內寫下所有的索引，每個索引序號之間用逗號隔開。
a[1] # 篩選第一維度，這跟基礎索引一樣
a[1,1, 3] # 同時帥選3個維度
（2）冒號切片與步長：[start:end:step]
這種索引方式在Python原生的list類型中也是常見的，而且使用方法也是一樣的。
a[1,:,0:2] # 對第1維度選第二塊數據，對第二維度選所有數據，對第三維度選前兩行
a[1,:,0:2,0:4] # 繼續上面的例子，對第4維度篩選去前4列
a[1,:,0:2,0:4:2] # 對第4維度加上步長，每隔一個數據取一次
也可以使用負值步長表示逆序索引，但要注意，負數步長時，原本的[start : end : step]也要跟著編程[end : start : step]：
a[1,:,0:2,4:0:-1]
a[1,:,0:2,4:0:-2]
在numpy和TensorFlow中還有“…”（三個英文句號）的使用，“…”用於表示連續多個維度全選：
a[1,...,0:4] # 等同於a[1, : , : ,0:4]
a[0,0,...] # 等同於a[0,0,:,:]
3.3 gather與gather_nd¶
gather與gather_nd是指TensorFlow通過gather()方法和gather_nd()方法提供的兩種索引方式。在numpy中，可以通過嵌套list的方式來指定無規則的索引：
b = np.arange(20).reshape(4,5)
b[1, [0,3,4]] # 選取第2行的第1列、第4列、第5列
但是在TensorFlow中，這種索引方式並沒有從numpy中繼承下來,所以如果在Tensor中使用這種方式，會拋出以下異常：
TypeError: Only integers, slices (:), ellipsis (...), tf.newaxis (None) and scalar tf.int32/tf.int64 tensors are valid indices, got [0, 3, 4]
還好的是，在TensorFlow中通過gather()方法和gather_nd()方法提供了這種索引方法。
（1）gather()方法
tf.gather(b, axis=0, indices=[0, 2, 3]) # 選取第1行，第3行，第4行
tf.gather(b, axis=1, indices=[0, 2, 3]) # 選取第1列，第3列，第4列
仔細觀察上面gather()方法例子，可以發現，第一個參數時數據源，還有兩個參數中，axis指的是將要的維度，indices指的是需要選取的序號。
（2）gather_nd()
gather()方法一次只能對一個維度進行索引，gather_nd()方法可以同時對多個維度進行索引。
tf.gather_nd(b, [[0, 2],[3, 3]]) # 選取第1行第3列的那個數據，和第4行第4列的數據
4 維度變換¶
4.1 reshape()¶
numpy中的ndarray數組有個一reshape()方法，用來改變數組的shape，TensorFlow中的reshape()方法，功能也是一樣的，不過TensorFlow中的reshape()沒有綁定到tensor中：
a = tf.ones([2,3,4])
a.shape
a
b = tf.reshape(a, [2, 2, 6])
b.shape
b
c = tf.reshape(a, [3, 2, 4])
c
可以看到，在上面的例子中，通過reshape()方法可以很方便的改變tensor的形狀，得到一個新的tensor，需要注意的是在進行維度變換時，數據的重量是不變的，上面的例子無論是[2,3,4]， [2, 2, 6]還是[3, 2, 4]都對應總量24，如果對應不上，就會產生異常。
4.2 轉置：transpose()¶
transpose()方法提供了一種類似於裝置的操作：
a = tf.constant([[1,2,3],[4,5,6]])
a.shape
b = tf.transpose(a)
b.shape
b
在默認情況下，transpose()方法會將所有維度按逆序方式完全轉置，當然也可以通過perm參數執行需要轉置的維度：
a=tf.constant([[[1,2,3],[4,5,6]],[[7,8,9],[10,11,12]]])
a
b = tf.transpose(a) # 不指定perm參數時，相當於tf.transpose(a, perm=[2, 1, 0])
b
c = tf.transpose(a, perm=[2, 1, 0])
c
d = tf.transpose(a, perm=[0, 2, 1]) # 第一個維度不做變換，對第二、第三維度進行轉置
d
4.3 添加維度：expand_dims()¶
a=tf.constant([[1,2,3],[4,5,6]])
a
tf.expand_dims(a, axis=0)
tf.expand_dims(a, axis=1)
tf.expand_dims(a, axis=-1)
tf.expand_dims(a, axis=2)
expand_dims()方法添加維度時，通過axis參數指定添加維度的位置，正數表示從前往後數，負數表示從後往前數。
4.4 壓縮維度：squeeze()¶
squeeze()方法與expand_dims()方法作用剛好相反，其作用是刪除張量中dim為1的維度：
a = tf.ones([1,3,1,2])
a
tf.squeeze(a)
