跟我學Python影像處理丨關於影像金字塔的影像向下取樣和向上取樣
摘要：本文講述影像金字塔知識，了解專門用於影像向上取樣和向下取樣的pyrUp()和pyrDown()函數。
本文分享自華為雲社區《[Python影像處理] 二十一.影像金字塔之影像向下取樣和向上取樣》，作者：eastmount。
一.影像金字塔
影像金字塔是指由一組影像且不同分別率的子圖集合，它是影像多尺度表達的一種，以多解析度來解釋影像的結構，主要用於影像的分割或壓縮。一幅影像的金字塔是一系列以金字塔形狀排列的解析度逐步降低，且來源於同一張原始圖的影像集合。如圖6-11所示，它包括了四層影像，將這一層一層的影像比喻成金字塔。影像金字塔可以通過梯次向下取樣獲得，直到達到某個終止條件才停止取樣，在向下取樣中，層級越高，則影像越小，解析度越低。
生成影像金字塔主要包括兩種方式——向下取樣、向上取樣。在圖6-11中，將影像G0轉換為G1、G2、G3，影像解析度不斷降低的過程稱為向下取樣；將G3轉換為G2、G1、G0，影像解析度不斷增大的過程稱為向上取樣。
二.影像向下取樣
在影像向下取樣中，使用最多的是高斯金字塔。它將對影像Gi進行高斯核卷積，並刪除原圖中所有的偶數行和列，最終縮小影像。其中，高斯核卷積運算就是對整幅影像進行加權平均的過程，每一個像素點的值，都由其本身和鄰域內的其他像素值（權重不同）經過加權平均後得到。常見的3×3和5×5高斯核如下：
高斯核卷積讓臨近中心的像素點具有更高的重要度，對周圍像素計算加權平均值，如圖6-12所示，其中心位置權重最高為0.4。
顯而易見，原始影像Gi具有M×N個像素，進行向下取樣之後，所得到的影像Gi+1具有M/2×N/2個像素，只有原圖的四分之一。通過對輸入的原始影像不停迭代以上步驟就會得到整個金字塔。注意，由於每次向下取樣會刪除偶數行和列，所以它會不停地丟失影像的資訊。
在OpenCV中，向下取樣使用的函數為pyrDown()，其原型如下所示：
dst = pyrDown(src[, dst[, dstsize[, borderType]]])
- src表示輸入影像，
- dst表示輸出影像，和輸入影像具有一樣的尺寸和類型
- dstsize表示輸出影像的大小，默認值為Size()
- borderType表示像素外推方法，詳見cv::bordertypes
實現程式碼如下所示：
# -*- coding: utf-8 -*- import cv2 import numpy as np import matplotlib.pyplot as plt #讀取原始影像 img = cv2.imread('nv.png') #影像向下取樣 r = cv2.pyrDown(img) #顯示影像 cv2.imshow('original', img) cv2.imshow('PyrDown', r) cv2.waitKey() cv2.destroyAllWindows()
輸出結果如圖6-13所示，它將原始影像壓縮成原圖的四分之一。
多次向下取樣的程式碼如下：
# -*- coding: utf-8 -*- import cv2 import numpy as np import matplotlib.pyplot as plt #讀取原始影像 img = cv2.imread('nv.png') #影像向下取樣 r1 = cv2.pyrDown(img) r2 = cv2.pyrDown(r1) r3 = cv2.pyrDown(r2) #顯示影像 cv2.imshow('original', img) cv2.imshow('PyrDown1', r1) cv2.imshow('PyrDown2', r2) cv2.imshow('PyrDown3', r3) cv2.waitKey() cv2.destroyAllWindows()
輸出結果如圖所示：
三.影像向上取樣
在影像向上取樣是由小影像不斷放影像的過程。它將影像在每個方向上擴大為原影像的2倍，新增的行和列均用0來填充，並使用與「向下取樣」相同的卷積核乘以4，再與放大後的影像進行卷積運算，以獲得「新增像素」的新值。如圖6-15所示，它在原始像素45、123、89、149之間各新增了一行和一列值為0的像素。
在OpenCV中，向上取樣使用的函數為pyrUp()，其原型如下所示：
dst = pyrUp(src[, dst[, dstsize[, borderType]]])
- src表示輸入影像，
- dst表示輸出影像，和輸入影像具有一樣的尺寸和類型
- dstsize表示輸出影像的大小，默認值為Size()
- borderType表示像素外推方法，詳見cv::bordertypes
實現程式碼如下所示：
# -*- coding: utf-8 -*- import cv2 import numpy as np import matplotlib.pyplot as plt #讀取原始影像 img = cv2.imread('lena.png') #影像向上取樣 r = cv2.pyrUp(img) #顯示影像 cv2.imshow('original', img) cv2.imshow('PyrUp', r) cv2.waitKey() cv2.destroyAllWindows()
輸出結果如圖6-16所示，它將原始影像擴大為原影像的四倍。
多次向上取樣的程式碼如下：
# -*- coding: utf-8 -*- import cv2 import numpy as np import matplotlib.pyplot as plt #讀取原始影像 img = cv2.imread('lena2.png') #影像向上取樣 r1 = cv2.pyrUp(img) r2 = cv2.pyrUp(r1) r3 = cv2.pyrUp(r2) #顯示影像 cv2.imshow('original', img) cv2.imshow('PyrUp1', r1) cv2.imshow('PyrUp2', r2) cv2.imshow('PyrUp3', r3) cv2.waitKey() cv2.destroyAllWindows()
輸出結果如圖6-17所示，每次向上取樣均為上次影像的四倍，但影像的清晰度會降低。
希望這篇基礎性文章對您有所幫助，如果有錯誤或不足之處，請海涵！
感恩能與大家在華為雲遇見！
參考文獻：
- eastmount – [數字影像處理] 三.MFC實現影像灰度、取樣和量化功能詳解
- 《數字影像處理》（第3版），岡薩雷斯著，阮秋琦譯，電子工業出版社，2013年.
- 《數字影像處理學》（第3版），阮秋琦，電子工業出版社，2008年，北京.
- 《OpenCV3編程入門》，毛星雲，冷雪飛，電子工業出版社，2015，北京.
