短視頻平台開發中視頻編碼如何解決延遲優化？

• 2019 年 10 月 7 日
• 筆記

視頻編碼是短視頻平台一個重要的部分，如果把整個流媒體比喻成一個物流系統，那麼編解碼就是其中配貨和裝貨的過程，這個過程非常重要，它的速度和壓縮比對物流系統的意義非常大，影響物流系統的整體速度和成本。同樣，對流媒體傳輸來說，編碼也非常重要，它的編碼性能、編碼速度和編碼壓縮比會直接影響整個流媒體傳輸的用戶體驗和傳輸成本。

視頻編碼的意義

原始視頻數據存儲空間大：一個 1080P 的 7 s 視頻需要 817 MB；

原始視頻數據傳輸佔用帶寬大：10 Mbps 的帶寬傳輸上述 7 s 視頻需要 11 分鐘。 而經過 H.264 編碼壓縮之後，視頻大小只有 708 k 、10 Mbps 的帶寬僅僅需要 500 ms ，可以滿足實時傳輸的需求，所以從視頻採集傳感器採集來的原始視頻勢必要經過視頻編碼。

1、確保 Codec 開啟了最低延遲的設置。Codec 一般都會有低延遲優化的開關，對於 H.264 來說其效果尤其明顯。很多人可能不知道 H.264 的解碼器正常情況下會在顯示之前緩存一定的視頻幀，對於 QCIF 分辨率大小的視頻（176 × 144）一般會緩存 16 幀，對於 720P 的視頻則緩存 5 幀。對於第一幀的讀取來說，這是一個很大的延遲。如果你的視頻不是使用 H.264 來編碼壓縮的，確保沒有使用到 B 幀，它對延遲也會有較大的影響，因為視頻中 B 幀的解碼依賴於前後的視頻幀，會增加延遲。

2、編碼器一般都會有碼控造成的延遲，一般也叫做初始化延遲或者視頻緩存檢驗器 VBV 的緩存大小，把它當成編碼器和解碼器比特流之間的緩存，在不影響視頻質量的情況下可以將其設置得儘可能小也可以降低延遲。

3、如果是僅僅優化首開延遲，可以在視頻幀間插入較多的關鍵幀，這樣客戶端收到視頻流之後可以儘快解碼。但如果需要優化傳輸過程中的累計延遲，儘可能少使用關鍵幀也就是 I 幀（GOP 變大），在保證同等視頻質量的情況下，I 幀越多，碼率越大，傳輸所需的網絡帶寬越多，也就意味着累計延遲可能越大。這個優化效果可能在秒級延遲的系統中不是很明顯，但是在 100 ms 甚至更低延遲的系統中就會非常明顯。同時，盡量使用 ACC-LC Codec 來編碼音頻，HE-ACC 或者 HE-ACC 2 雖然編碼效率高，但是編碼所需時間更長，而產生更大體積的音頻造成的傳輸延遲對於視頻流的傳輸來說影響更小。

4、不要使用視頻 MJPEG 的視頻壓縮格式，至少使用不帶 B 幀的 MPEG4 視頻壓縮格式（Simple profile），甚至最好使用 H.264 baseline profile（X264 還有一個「-tune zerolatency」的優化開關）。這樣一個簡單的優化可以降低延遲，因為它能夠以更低的碼率編碼全幀率視頻。

5、如果使用了 FFmpeg，降低「-probesize 」和「 -analyze duration」參數的值，這兩個值用於視頻幀信息監測和用於監測的時長，這兩個值越大對編碼延遲的影響越大，在直播場景下對於視頻流來說 analyzeduration 參數甚至沒有必要設定。

6、固定碼率編碼 CBR 可以一定程度上消除網絡抖動影響，如果能夠使用可變碼率編碼 VBR 可以節省一些不必要的網絡帶寬，降低一定的延遲。因此建議盡量使用 VBR 進行編碼。