玩轉直播系列之消息模組演進(3)

• 2021 年 5 月 24 日
• 筆記
• JAVA, 伺服器, 直播

一、背景

即時消息(IM)系統是直播系統重要的組成部分，一個穩定的，有容錯的，靈活的，支援高並發的消息模組是影響直播系統用戶體驗的重要因素。IM長連接服務在直播系統有發揮著舉足輕重的作用。

本篇文章針對秀場直播，簡單地描述一下消息模型，說明一下我們消息模型的架構，並結合我們一年以來，通過處理不同的業務線上問題，來進行演進式的消息模型架構的升級與調整，將此整理成文，並分享給大家。

在目前大部分主流的直播業務中，推拉流是實現直播業務最基本的技術點，消息技術則是實現觀看直播的所有用戶和主播實現互動的關鍵技術點，通過直播IM系統模組，我們可以完成公屏互動，彩色彈幕，全網送禮廣播，私信，PK等核心秀場直播的功能開發。”IM消息”作為用戶和用戶，用戶和主播之間”溝通”的資訊橋樑，如何保證”資訊橋樑”的在高並發場景下保持穩定可靠，是直播系統演進過程中一個重要的話題。

二、直播消息業務

在直播業務中，有幾個核心的關於消息模型的概念，我們先簡單地介紹一下，方便大家對直播相關的消息模型有一個整體上的理解。

2.1 主播與用戶

主播和觀眾，對於IM系統來說，都是一個普通用戶，都會有一個唯一用戶標識，也是IM分發到點對點消息的重要標識。

2.2 房間號

一個主播對應一個房間號(RoomId),主播在開播之前，進行身份資訊驗證之後，就會綁定唯一的房間號，房間號是IM系統進行直播間消息分發的重要標識。

2.3 消息類型劃分

按照直播業務特性，IM消息劃分的方式有很多方式，例如按照接收方維度進行劃分，按照直播間消息業務類型進行劃分，按照消息的優先順序，存儲方式都可以進行不同的劃分等等方式。

通常，我們按照接收方維度進行劃分有如下幾個類型的消息：

• 點對點消息(單播消息)

• 直播間消息(群播消息)

• 廣播消息

按照具體的業務場景有如下幾個類型的消息：

• 禮物消息

• 公屏消息

• PK消息

• 業務通知類消息

消息能夠實時準確地分發到對應的群體或者單個用戶終端都是非常必要的。當然好一點的IM消息模型也能夠賦能業務一些新的能力，例如如下的能力：

• 統計每個直播間的實時在線人數

• 捕獲用戶進出直播間的事件

• 統計每個用戶實時進入直播間的時間

2.4 消息優先順序

直播的消息是有優先順序的，這一點是很重要的，與微信，QQ等聊天IM產品不一樣的地方是直播間消息是分優先順序的。

微信等聊天消息產品，不管是私聊還是群聊，每個人發送消息的優先順序基本上是一樣的，不存在誰的消息優先順序高，誰的消息優先順序低，都需要將消息準確實時地分發到各個業務終端，但是直播因為業務場景的不同，消息分發的優先順序也是不一樣的。

舉例來說，如果一個直播間每秒只能渲染15~20個消息，如果一個熱點直播間一秒鐘產生的消息量大於20條或者更多，如果不做消息優先順序的控制，直接實時分發消息，那麼導致的結果就是直播間公屏客戶端渲染卡頓，禮物彈框渲染過快，用戶觀看體驗大幅下降，所以我們要針對不同業務類型的消息，給出不同的消息優先順序。

舉例來說，禮物消息大於公屏消息，同等業務類型的消息，大額禮物的消息優先順序又大於小額禮物的消息，高等級用戶的公屏消息優先順序高於低等級用戶或者匿名用戶的公屏消息，在做業務消息分發的時候，需要根據實際的消息優先順序，選擇性地進行消息準確地分發。

三、消息技術點

3.1 消息架構模型

3.2 短輪詢 VS 長鏈接

3.2.1 短輪詢

3.2.1.1 短輪詢的業務模型

首先我們先簡單地描述一下短輪詢時間的過程和基本設計思想：

• 客戶端每隔2s輪詢伺服器介面，參數是roomId和timestamp，timestamp第一次傳遞0或者null。

• 伺服器根據roomId和timestamp查詢該房間在timestamp時間戳後產生的消息事件，返回限定條數的消息例如（例如返回10~15條，當然在這個timestamp之後產生的消息數遠遠大於15條，不過因為客戶端渲染能力有限和過多的消息展示，會影響用戶體驗，所以限制返回的條數），並且同時返回這些消息中最後一條消息產生的時間戳timestamp，作為客戶端下次請求伺服器的基準請求時間戳。

• 以此反覆，這樣就可以每隔2s按照各個終端要求，更新每個直播間的最新消息了

整體的主體思想如上圖所示，不過具體的時間可以再做精細化處理，後續再做具體的說明和細節說明。

3.2.1.2 短輪詢的存儲模型

短輪詢的消息存儲與正常的長連接的消息存儲有一定的區別，不存在消息擴散的問題，我們需要做的消息存儲需要達到如下的業務目標：

• 消息插入時間複雜度要相對比較低；

• 消息查詢的複雜度要相對比較低；

• 消息的存儲的結構體要相對比較小，不能佔用太大的記憶體空間或者磁碟空間；

• 歷史消息能夠按照業務需要做磁碟持久化存儲；

結合上述4點的技術要求，畢竟經過小組成員的討論，我們決定使用Redis的SortedSet數據結構進行存儲，具體實現思路：按照直播間產品業務類型，將業務消息劃分為如下四大類型：禮物，公屏，PK，通知。

一個直播間的消息使用四個Redis的SortedSet數據結構進行存儲，SortedSet的key分別是”live::roomId::gift”,”live::roomId::chat”,”live::roomId::notify”,”live::roomId::pk”，score分別是消息真實產生的時間戳，value就是序列化好的json字元串，如下圖所示：

客戶端輪詢的時候，服務端查詢的邏輯如下所示：

很多同學會疑問，為什麼不適用Redis的list的數據結構呢？如下圖會進行詳細的說明：

最後我們再對比一下Redis的SortedSet和Redis的List這兩個數據結構在直播消息存儲的時候，時間複雜度的相關分析。

以上，就是我們使用Redis的SortedSet數據結構進行消息存儲的一些簡單的設計思考，後續我們也會提到端輪詢的編碼時候，需要的注意點。

3.2.1.3 短輪詢的時間控制

短輪詢的時間控制及其重要，我們需要在直播觀眾觀看體驗QoE和伺服器壓力之間找到一個很好的平衡點。

輪詢的間隔時間太長，用戶體驗就會下降很多，直播觀看體驗就會變差，會有”一頓一頓”的感覺。短輪詢的頻率過高，會導致伺服器的壓力過大，也會出現很多次”空輪詢”，所謂的”空輪詢”就是無效輪詢，也就是在上一秒有效輪詢返回有效消息之後，間隔期直播間沒有產生新的消息，就會出現無效的輪詢。

vivo直播目前每日的輪詢次數是10+億次，晚觀看直播高峰期的時候，伺服器和Redis的CPU負載都會上升，dubbo的服務提供方的執行緒池一直處於高水位線上，這塊需要根據機器的和Redis的實時負載的壓力，做伺服器的水平擴容和Redis Cluster的節點擴容，甚至讓一些超高熱度值的直播間負載到指定的Redis Cluster集群上，做到物理隔離，享受到”VIP”服務，確保各個直播間的消息相互不影響。

直播人數不一樣的直播間，輪詢的時間也是可以配置的，例如人數比較少的直播，百人以下的直播間，可以設置比較高頻的輪詢頻率，例如1.5s左右，超過300人以上的，1000人以下可以2s左右，萬人直播間可以設置2.5s左右，這些配置應該都可以通過配置中心實時下發，客戶端能夠實時更新輪詢的時間，調整的頻率可以根據實際直播間用戶體驗的效果，並且結合伺服器的負載，找到一個輪詢間隔的相對最佳值。

3.2.1.4 短輪詢的注意點

1）服務端需要校驗客戶端傳遞過來的時間戳：這一點非常重要，試想一下，如果觀眾在觀看直播的時候，將直播退出後台，客戶端輪詢進程暫停，當用戶恢復直播觀看畫面進程的時候，客戶端傳遞過來的時間就會是非常老舊甚至過期的時間，這個時間會導致伺服器查詢Redis時出現慢查，如果出現大量的伺服器慢查的話，會導致伺服器連接Redis的連接無法快速釋放，也會拖慢整個伺服器的性能，會出現一瞬間大量的輪詢介面超時，服務品質和QoE會下降很多。

2）客戶端需要校驗重複消息：在極端情況下，客戶端有可能收到重複的消息，產生的原因可能如下，在某一個時刻客戶端發出roomId=888888&timestamp=t1的請求，因為網路不穩定或者伺服器GC的原因，導致該請求處理比較慢，耗時超過2s，但是因為輪詢時間到了，客戶端又發出了roomId=888888&timestamp=t1的請求，伺服器返回相同的數據，就會出現客戶端重複渲染相同的消息進行展示，這樣也會影響用戶體驗，所以每一個客戶端有必要對重複消息進行校驗。

3）海量數據無法實時返回渲染的問題：設想一下，如果一個熱度極大的直播間，每秒鐘產生的消息量是數千或者上萬的時候，按照上面的存儲和查詢思路是有漏洞的，因為我們每次因為各個因素的限制，每次只返回10~20條消息，那麼我們需要很長的時間才能把這熱度很多的一秒鐘的數據全部返回，這樣就會造成最新的消息無法快速優先返回，所以輪詢返回的消息也可以按照消息優先順序進行選擇性丟棄。

客戶端輪詢服務伺服器查詢直播間的消息的好處是顯而易見的，消息的分發是非常實時和準確的，很難出現因為網路顫抖導致消息無法到達的場景，不過壞處也是非常明顯的，伺服器在業務高峰期的負載壓力很大，如果直播間的所有消息都是通過輪詢分發的，長期以往，伺服器是很難通過水平擴容的方式來達到線性增長的。

3.2.2 長連接

3.2.2.1 長連接的架構模型

從流程上來說，如上圖所示，整體直播長連接的流程：

手機客戶端首先通過http請求長連接伺服器，獲取TCP長連接的IP地址，長連接伺服器根據路由和負載策略，返回最優的可連接的IP列表。

手機客戶端根據長連接伺服器返回的IP列表，進行長連接的客戶端的連接請求接入，長連接伺服器收到連接請求，進而建立連接。

手機客戶端發送鑒權資訊，進行通訊資訊的鑒權和身份資訊確認，最後長連接建立完成，長連伺服器需要對連接進行管理，心跳監測，斷線重連等操作。

長連接伺服器集群的基本架構圖如下所示，按照地域進行業務劃分，不同地域的終端機器按需接入；

3.2.2.2 長連接建立和管理

為了使消息即時、高效、安全地觸達用戶，直Podcast戶端和IM系統建立了一條加密的全雙工數據通路，收發消息均使用該通道，當大量用戶在線的時候，維護這些連接、保持會話，需要用到大量記憶體和CPU資源。

IM接入層盡量保持功能簡潔，業務邏輯下沉到後面邏輯服務中進行處理，為了防止發布的時候，重啟進程會導致大量的外網設備重新建立連接，影響用戶體驗。接入層提供熱更新的發布方案：連接維護，帳號管理等不經常改動的基礎邏輯放入主程式中，業務邏輯採用so插件的方式嵌入到程式的，修改業務邏輯時只需要重新載入一次插件即可，可以保證與設備的長連接不受影響。

3.2.2.3長連接保活

長連接建立後，如果中間網路斷開，服務端和客戶端都無法感知，造成假在線的情況。因此維護好這個「長連接」一個關鍵的問題在於能夠讓這個「長連接」能夠在中間鏈路出現問題時，讓連接的兩端能夠快速得到通知，然後通過重連來建立新的可用連接，從而讓我們這個長連接一直保持高可用狀態。IM在服務端開啟了keeplive保活探測機制和在客戶端啟用了智慧心跳。

• 利用keeplive保活探測功能，可以探知客戶端崩潰、中間網路端開和中間設備因超時刪除連接相關的連接表等意外情況，從而保證在意外發生時，服務端可以釋放半打開的TCP連接。

• 客戶端啟動智慧心跳不僅能在消耗極少的電和網路流量條件下，通知伺服器客戶端存活狀態、定時的刷新NAT內外網IP映射表，還能在網路變更時自動重連長連接。

3.2.3 直播間IM消息分發

IM長連接分發消息的整體流程圖

在整合客戶端，IM長連接伺服器模組和直播業務伺服器模組這三個模組的時候，整體消息的分發邏輯遵循如下的基本原則：

• 單播，群播，廣播消息所有的消息都是由直播業務伺服器調用IM長連接伺服器的介面，將需要分發的消息分發到各個業務直播間。

• 業務伺服器對直播間產生的事件進行對應的業務類型做響應的處理，例如送禮扣減虛擬貨幣，發送公屏進行文本健康校驗等。

• 客戶端接受直播業務伺服器的信令控制，消息是通過長連接通道分發還是http短輪詢分發，都是由直播業務伺服器控制，客戶端屏蔽底層消息獲取的方式細節，客戶端上層接受統一的消息數據格式，進行對應的業務類型消息處理渲染。

3.2.3.1直播間成員管理和消息分發

直播間成員是直播間最重要的基礎元數據，單個直播間的用戶量實際上是無上限的，且呈現大直播若干個(大於30W同時在線）、中直播間幾百個、小直播幾萬個這樣分布，如何管理直播間成員是一個直播間系統架構中核心功能之一，常見的方式有如下兩種：

1.為直播間分配固定分片，用戶與具體的分片存在映射關係，每個分片中保存用戶相對隨機。

採用固定分片的方式演算法實現簡單，但是對於用戶少的直播間有可能分片承載的用戶數量少，對於用戶大的直播間有可能分片承載用戶量又比較大，固定分片存在天然伸縮性差的特點。

2.動態分片，規定分片用戶數，當用戶數超過閾值時，增加一個新的分片，分片數量可以隨著用戶數增加而變化。

動態分片可以根據直播間人數自動生成分片，滿了就開闢新片，盡量使每個分片的用戶數達到閾值，但已有分片的用戶數量隨著用戶進出直播間變化，維護複雜度比較高。

3.2.3.2 直播間消息分發

直播間中有進出場消息、文本消息、禮物消息和公屏消息等多種多樣消息，消息的重要程度不一樣，可為每個消息設定相應的優先順序。

不同優先順序的消息放在不同的消息隊列中，高優先順序的消息優先發送給客戶端，消息堆積超過限制時，丟棄最早、低優先順序的消息。另外，直播間消息屬於實時性消息，用戶獲取歷史消息、離線消息的意義不大，消息採用讀擴散的方式存儲組織。直播間消息發送時，根據直播間成員分片通知對應的消息發送服務，再把消息分別下發給分片中對應的每一個用戶，為了實時、高效地把直播間消息下發給用戶，當用戶有多條未接收消息時，下發服務採用批量下發的方式將多條消息發送給用戶。

3.2.3.3 長連接的消息壓縮

在使用TCP長連接分發直播間消息的時候，也需要注意消息體的大小，如果某一個時刻，分發消息的數量比較大，或者同一個消息在做群播場景的時候，群播的用戶比較多，IM連接層的機房的出口頻寬就會成為消息分發的瓶頸。所以如何有效的控制每一個消息的大小，壓縮每一個消息的大小，是我們也需要思考的問題，我們目前通過兩種方式來來做相關消息體結構的優化：

使用protobuf協議數據交換格式

相同類型的消息進行合併發送

經過我們線上測試，使用protobuf數據交換格式，平均每一個消息節省43%的位元組大小，可以大大幫助我們節省機房出口頻寬。

3.2.3.4 塊消息

所謂塊消息，也是我們借鑒其他直播平台的技術方案，也就是多個消息進行合併發送，直播業務伺服器不是產生一個消息就立馬調用IM長連接伺服器集群直接進行消息的分發。主要思想，就是以直播間為維度，每隔1s或者2s，以勻速的時間間隔將在這個時間段業務系統產生的消息進行分發。

每秒分發10_{20個消息，如果每秒中，業務伺服器積累到的消息大於10}20個，那就按照消息的優先順序進行丟棄，如果這10~20個消息的優先順序都比較高，例如都是禮物類型的消息，則將消息放在後一個消息塊進行發送，這樣做的好處有如下三個；

合併消息，可以減少傳輸多餘的消息頭，多個消息一起發送，在自定義的TCP傳輸協議中，可以共用消息頭，進一步減少消息位元組數大小；

防止出現消息風暴，直播業務伺服器可以很方便的控制消息分發的速度，不會無限制的分發消息到直Podcast戶端，客戶端無法處理如此多的消息；

友好的用戶體驗，直播間的消息因為流速正常，渲染的節奏比較均勻，會帶來很好的用戶直播體驗，整個直播效果會很流暢

3.3 消息丟棄

不管是http短輪詢還是長連接，在高熱度值直播間出現的時候，都會存在消息丟棄的情況，例如在遊戲直播中，有出現比較精彩瞬間的時候，評論公屏數會瞬間增加，同時送低價值的禮物的消息也會瞬間增加很多，用來表示對自己選手精彩操作的支援，那麼伺服器通過IM長連接或者http短輪詢每秒分發的消息數就會數千或者上萬，一瞬間的消息突增，會導致客戶端出現如下幾個問題；

客戶端通過長連接獲取的消息突增，下行頻寬壓力突增，其他業務可能會受到影響（例如禮物的svga無法及時下載播放）；

客戶端無法快速處理渲染如此多的禮物和公屏消息，CPU壓力突增，音影片處理也會受到影響；

因消息存在積壓，導致會展示過期已久消息的可能，用戶體驗（QoE）指標會下降。

所以，因為這些原因，消息是存在丟棄的必要的，舉一個簡單的例子，禮物的優先順序一定是高於公屏消息的，PK進度條的消息一定是高於全網廣播類消息的，高價值禮物的消息又高於低價值禮物的消息。

根據這些業務理論，我們在真實程式碼開發中，可以做如下的控制：

結合具體業務特點，給各個業務類型的消息劃分出不同等級，在消息分發觸發流控的時候，根據消息優先順序選擇性丟棄低優先順序消息。

消息結構體新增創建時間和發送時間兩個欄位，在實際調用長連接通道的時候，需要判斷當前時間與消息的創建時間是夠間隔過大，如果過大，則直接丟棄消息。

增益消息(糾正消息)，在業務開發中，消息的設計中，盡量地去設計增益消息，增益消息指的是後續到達的消息能夠包含前續到達的消息，舉例來說，9點10的消息，主播A和主播B的PK值是20比10，那麼9點11分分發的PK消息值就是22比10，而不能分發增量消息2:0，希望客戶端做PK條的累加（20+2 ：10+0），但是存在消息因為網路顫抖或者前置消息丟棄，導致消息丟棄，所以分發增益消息或者糾正消息會能夠幫助業務重新恢復正常。

四、寫在最後

任何一個直播系統，隨著業務的發展和直播間人氣不斷的增加，消息系統遇到的問題和挑戰也會隨之而來，不管是長連接的消息風暴，還是海量http短輪詢的請求，都會導致伺服器壓力的劇增，都是我們需要不斷解決和優化的。我們要針對每一個時期的業務特點，做直播消息的持續升級，做可演進的消息模組，確保消息分發的能力能夠確保業務的持續發展。

vivo直播消息模組也是逐步演進的，演進的動力主要來自於因為業務的發展，隨著業務形態的多樣化，觀看的用戶數越來越多，系統的功能也會逐步增多，也會遇到各種性能瓶頸，為了解決實際遇到的性能問題，會逐一進行程式碼分析，介面性能瓶頸的分析，然後給出對應的解決方案或者解耦方案，消息模組也不例外，希望這篇文章能夠給大家帶來相關直播消息模組的設計啟發。

作者：vivo互聯網技術-LinDu、Li Guolin