Android Bitmap轉I420的坑，以及圖文詳解YUV420數據格式
- 2020 年 3 月 11 日
- 筆記
今天Android要把Bitmap里的數據轉成I420，用的YUV庫，但是總有色差。查了好久，最終發現
libyuv里的名字和我們外面常用的正好相反，比如`libyuv::ABGRToI420`，輸入的數據格式要是ARGB_8888，這應該是位高低常用讀法不同。
給個示例：
Java層程式碼：
int width = bitmap.getWidth(); int height = bitmap.getHeight(); int byteCount = bitmap.getByteCount(); ByteBuffer buf = ByteBuffer.allocate(byteCount); bitmap.copyPixelsToBuffer(buf); byte[] byteArray = buf.array(); byte[] yBuffer = new byte[width * height]; byte[] uBuffer = new byte[width * height / 4]; byte[] vBuffer = new byte[width * height / 4]; LibYUV.javaABGRToI420(byteArray, width * 4, width, height, yBuffer, width, uBuffer, (width + 1) / 2, vBuffer, (width + 1) / 2); byte[] yuvBuffer = new byte[width * height * 3 / 2]; System.arraycopy(yBuffer, 0, yuvBuffer, 0, width * height); System.arraycopy(uBuffer, 0, yuvBuffer, width * height, width * height / 4); System.arraycopy(vBuffer, 0, yuvBuffer, width * height * 5 / 4, width * height / 4);
JavaWrap:
public class LibYUV { static { System.loadLibrary("yuvwrap"); System.loadLibrary("yuv"); } public static void javaABGRToI420(byte[] argbFrame, int argbStride, int width, int height, byte[] yBuffer, int yStride, byte[] uBuffer, int uStride, byte[] vBuffer, int vStride) { ABGRToI420(argbFrame, argbStride, width, height, yBuffer, yStride, uBuffer, uStride, vBuffer, vStride); } }
C++層調用libyuv
JNIEXPORT JNICALL void Java_org_android_opensource_libraryyuv_LibYUV_ABGRToI420( JNIEnv *env, jclass *jcls, jbyteArray src_frame, jint src_stride_frame, jint width, jint height, jbyteArray yBuffer, jint y_stride, jbyteArray uBuffer, jint u_stride, jbyteArray vBuffer, jint v_stride) { uint8_t *srcFrame = (uint8_t *) env->GetByteArrayElements(src_frame, 0); uint8_t *dst_y = (uint8_t *) env->GetByteArrayElements(yBuffer, 0); uint8_t *dst_u = (uint8_t *) env->GetByteArrayElements(uBuffer, 0); uint8_t *dst_v = (uint8_t *) env->GetByteArrayElements(vBuffer, 0); // RGBA_8888實現的數值順序是ABGR // https://github.com/R1NC/LibYUV-Android/blob/6f4862a78bbd70aeeb8a9b3a026fcdfbd8391314/app/src/main/cpp/YuvJni.cpp libyuv::ABGRToI420(srcFrame, src_stride_frame, dst_y, y_stride, dst_u, u_stride, dst_v, v_stride, width, height); //remember release env->ReleaseByteArrayElements(src_frame, (jbyte *) srcFrame, 0); env->ReleaseByteArrayElements(yBuffer, (jbyte *) dst_y, 0); env->ReleaseByteArrayElements(uBuffer, (jbyte *) dst_u, 0); env->ReleaseByteArrayElements(vBuffer, (jbyte *) dst_v, 0); }
I420: YYYYYYYY UU VV =>YUV420P YV12: YYYYYYYY VV UU =>YUV420P NV12: YYYYYYYY UVUV =>YUV420SP NV21: YYYYYYYY VUVU =>YUV420SP
轉自：https://www.cnblogs.com/azraelly/archive/2013/01/01/2841269.html
YUV格式有兩大類：planar和packed。 對於planar的YUV格式，先連續存儲所有像素點的Y，緊接著存儲所有像素點的U，隨後是所有像素點的V。 對於packed的YUV格式，每個像素點的Y,U,V是連續交*存儲的。
YUV，分為三個分量，「Y」表示明亮度（Luminance或Luma），也就是灰度值；而「U」和「V」 表示的則是色度（Chrominance或Chroma），作用是描述影像色彩及飽和度，用於指定像素的顏色。
與我們熟知的RGB類似，YUV也是一種顏色編碼方法，主要用於電視系統以及模擬影片領域，它將亮度資訊（Y）與色彩資訊（UV）分離，沒有UV資訊一樣可以顯示完整的影像，只不過是黑白的，這樣的設計很好地解決了彩色電視機與黑白電視的兼容問題。並且，YUV不像RGB那樣要求三個獨立的影片訊號同時傳輸，所以用YUV方式傳送佔用極少的頻寬。
YUV碼流的存儲格式其實與其取樣的方式密切相關，主流的取樣方式有三種，YUV4:4:4，YUV4:2:2，YUV4:2:0，關於其詳細原理，可以通過網上其它文章了解，這裡我想強調的是如何根據其取樣格式來從碼流中還原每個像素點的YUV值，因為只有正確地還原了每個像素點的YUV值，才能通過YUV與RGB的轉換公式提取出每個像素點的RGB值，然後顯示出來。
用三個圖來直觀地表示採集的方式吧，以黑點表示取樣該像素點的Y分量，以空心圓圈表示採用該像素點的UV分量。
先記住下面這段話，以後提取每個像素的YUV分量會用到。
- YUV 4:4:4取樣，每一個Y對應一組UV分量。
- YUV 4:2:2取樣，每兩個Y共用一組UV分量。
- YUV 4:2:0取樣，每四個Y共用一組UV分量。
2. 存儲方式
下面我用圖的形式給出常見的YUV碼流的存儲方式，並在存儲方式後面附有取樣每個像素點的YUV數據的方法，其中，Cb、Cr的含義等同於U、V。
（1） YUVY 格式 （屬於YUV422）
YUYV為YUV422取樣的存儲格式中的一種，相鄰的兩個Y共用其相鄰的兩個Cb、Cr，分析，對於像素點Y'00、Y'01 而言，其Cb、Cr的值均為 Cb00、Cr00，其他的像素點的YUV取值依次類推。 （2） UYVY 格式 （屬於YUV422）
UYVY格式也是YUV422取樣的存儲格式中的一種，只不過與YUYV不同的是UV的排列順序不一樣而已，還原其每個像素點的YUV值的方法與上面一樣。
（3） YUV422P（屬於YUV422）
YUV422P也屬於YUV422的一種，它是一種Plane模式，即平面模式，並不是將YUV數據交錯存儲，而是先存放所有的Y分量，然後存儲所有的U（Cb）分量，最後存儲所有的V（Cr）分量，如上圖所示。其每一個像素點的YUV值提取方法也是遵循YUV422格式的最基本提取方法，即兩個Y共用一個UV。比如，對於像素點Y'00、Y'01 而言，其Cb、Cr的值均為 Cb00、Cr00。
（4）YV12，YU12格式（屬於YUV420）
YU12和YV12屬於YUV420格式，也是一種Plane模式，將Y、U、V分量分別打包，依次存儲。其每一個像素點的YUV數據提取遵循YUV420格式的提取方式，即4個Y分量共用一組UV。注意，上圖中，Y'00、Y'01、Y'10、Y'11共用Cr00、Cb00，其他依次類推。
（5）NV12、NV21（屬於YUV420）
NV12和NV21屬於YUV420格式，是一種two-plane模式，即Y和UV分為兩個Plane，但是UV（CbCr）為交錯存儲，而不是分為三個plane。其提取方式與上一種類似，即Y'00、Y'01、Y'10、Y'11共用Cr00、Cb00
YUV420 planar數據， 以720×488大小圖象YUV420 planar為例，
其存儲格式是： 共大小為(720×480×3>>1)位元組，
分為三個部分:Y,U和V
Y分量： (720×480)個位元組
U(Cb)分量：(720×480>>2)個位元組
V(Cr)分量：(720×480>>2)個位元組
三個部分內部均是行優先存儲，三個部分之間是Y,U,V 順序存儲。
即YUV數據的0－－720×480位元組是Y分量值，
720×480－－720×480×5/4位元組是U分量
720×480×5/4 －－720×480×3/2位元組是V分量。
4 ：2： 2 和4：2：0 轉換：
最簡單的方式：
YUV4:2:2 —> YUV4:2:0 Y不變，將U和V訊號值在行(垂直方向)在進行一次隔行抽樣。 YUV4:2:0 —> YUV4:2:2 Y不變，將U和V訊號值的每一行分別拷貝一份形成連續兩行數據。
在YUV420中，一個像素點對應一個Y，一個4X4的小方塊對應一個U和V。對於所有YUV420影像，它們的Y值排列是完全相同的，因為只有Y的影像就是灰度影像。YUV420sp與YUV420p的數據格式它們的UV排列在原理上是完全不同的。420p它是先把U存放完後，再存放V，也就是說UV它們是連續的。而420sp它是UV、UV這樣交替存放的。(見下圖) 有了上面的理論，我就可以準確的計算出一個YUV420在記憶體中存放的大小。 width * hight =Y（總和） U = Y / 4 V = Y / 4
所以YUV420 數據在記憶體中的長度是 width * hight * 3 / 2，
假設一個解析度為8X4的YUV影像，它們的格式如下圖：
YUV420sp格式如下圖
YUV420p數據格式如下圖
旋轉90度的演算法:
public static void rotateYUV240SP(byte[] src,byte[] des,int width,int height) { int wh = width * height; //旋轉Y int k = 0; for(int i=0;i<width;i++) { for(int j=0;j<height;j++) { des[k] = src[width*j + i]; k++; } } for(int i=0;i<width;i+=2) { for(int j=0;j<height/2;j++) { des[k] = src[wh+ width*j + i]; des[k+1]=src[wh + width*j + i+1]; k+=2; } } }
YV12和I420的區別 一般來說，直接採集到的影片數據是RGB24的格式，RGB24一幀的大小size＝width×heigth×3 Bit，RGB32的size＝width×heigth×4，如果是I420（即YUV標準格式4：2：0）的數據量是 size＝width×heigth×1.5 Bit。 在採集到RGB24數據後，需要對這個格式的數據進行第一次壓縮。即將影像的顏色空間由RGB2YUV。因為，X264在進行編碼的時候需要標準的YUV（4：2：0）。但是這裡需要注意的是，雖然YV12也是（4：2：0），但是YV12和I420的卻是不同的，在存儲空間上面有些區別。如下： YV12 ： 亮度（行×列） ＋ U（行×列/4) + V（行×列/4）
I420 ： 亮度（行×列） ＋ V（行×列/4) + U（行×列/4）
可以看出，YV12和I420基本上是一樣的，就是UV的順序不同。
繼續我們的話題，經過第一次數據壓縮後RGB24－>YUV（I420）。這樣，數據量將減少一半，為什麼呢？呵呵，這個就太基礎了，我就不多寫了。同樣，如果是RGB24－>YUV（YV12），也是減少一半。但是，雖然都是一半，如果是YV12的話效果就有很大損失。然後，經過X264編碼後，數據量將大大減少。將編碼後的數據打包，通過RTP實時傳送。到達目的地後，將數據取出，進行解碼。完成解碼後，數據仍然是YUV格式的，所以，還需要一次轉換，這樣windows的驅動才可以處理，就是YUV2RGB24。
YUY2 是 4:2:2 [Y0 U0 Y1 V0]
yuv420p 和 YUV420的區別 在存儲格式上有區別
yuv420p：yyyyyyyy uuuuuuuu vvvvv yuv420： yuv yuv yuv
YUV420P，Y，U，V三個分量都是平面格式，分為I420和YV12。I420格式和YV12格式的不同處在U平面和V平面的位置不同。在I420格式中，U平面緊跟在Y平面之後，然後才是V平面（即：YUV）；但YV12則是相反（即：YVU）。 YUV420SP, Y分量平面格式，UV打包格式, 即NV12。 NV12與NV21類似，U 和 V 交錯排列,不同在於UV順序。 I420: YYYYYYYY UU VV =>YUV420P YV12: YYYYYYYY VV UU =>YUV420P NV12: YYYYYYYY UVUV =>YUV420SP NV21: YYYYYYYY VUVU =>YUV420SP
