從零開始開發IM（即時通訊）服務端

  • 2019 年 10 月 3 日
  • 筆記

好消息：IM1.0.0版本已經上線啦，支援特性：

  • 私聊發送文本/文件
  • 已發送/已送達/已讀回執
  • 支援使用ldap登錄
  • 支援接入外部的登錄認證系統
  • 提供客戶端jar包，方便客戶端開發
    github鏈接： https://github.com/yuanrw/IM

前言

首先講講IM（即時通訊）技術可以用來做什麼：
聊天：qq、微信
直播：鬥魚直播、抖音
實時位置共享、遊戲多人互動等等
可以說幾乎所有高實時性的應用場景都需要用到IM技術。

本篇將帶大家從零開始搭建一個輕量級的IM服務端，麻雀雖小，五臟俱全，我們搭建的IM服務端實現以下功能：

  1. 一對一的文本消息、文件消息通訊
  2. 每個消息有「已發送」/「已送達」/「已讀」回執
  3. 存儲離線消息
  4. 支援用戶登錄，好友關係等基本功能。
  5. 能夠方便地水平擴展

通過這個項目能學到什麼？

這個項目涵蓋了很多後端必備知識：

  • rpc通訊
  • 資料庫
  • 快取
  • 消息隊列
  • 分散式、高並發的架構設計
  • docker部署

消息通訊

文本消息

我們先從最簡單的特性開始實現：一個普通消息的發送
消息格式如下：

message ChatMsg{      id = 1;      //消息id      fromId = Alice      //發送者userId      destId = Bob      //接收者userId      msgBody = hello      //消息體  }

msg.png
如上圖，我們現在有兩個用戶：Alice和Bob連接到了伺服器，當Alice發送消息message(hello)給Bob，服務端接收到消息，根據消息的destId進行轉發，轉發給Bob。

發送回執

那我們要怎麼來實現回執的發送呢？
我們定義一種回執數據格式ACK，MsgType有三種，分別是sent（已發送）,delivered（已送達）, read（已讀）：

message AckMsg {      id;      //消息id      fromId;      //發送者id      destId;      //接收者id      msgType;      //消息類型      ackMsgId;      //確認的消息id  }    enum MsgType {      DELIVERED;      READ;  }

當服務端接受到Alice發來的消息時：

  1. 向Alice發送一個sent(hello)表示消息已經被發送到伺服器。
message AckMsg {      id = 2;      fromId = Bob;      destId = Alice;      msgType = SENT;      ackMsgId = 1;  }

sent.png

  1. 伺服器把hello轉發給Bob後，立刻向Alice發送delivered(hello)表示消息已經發送給Bob。
message AckMsg {      id = 3;      fromId = Bob;      destId = Alice;      msgType = DELIVERED;      ackMsgId = 1;  }

delivered.png

  1. Bob閱讀消息後，客戶端向伺服器發送read(hello)表示消息已讀
message AckMsg {      id = 4;      fromId = Bob;      destId = Alice;      msgType = READ;      ackMsgId = 1;  }

這個消息會像一個普通聊天消息一樣被伺服器處理，最終發送給Alice。
read.png

在伺服器這裡不區分ChatMsg和AckMsg，處理過程都是一樣的：解析消息的destId並進行轉發。

水平擴展

當用戶量越來越大，必然需要增加伺服器的數量，用戶的連接被分散在不同的機器上。此時，就需要存儲用戶連接在哪台機器上。
我們引入一個新的模組來管理用戶的連接資訊。

管理用戶狀態

userstatus.png

模組叫做user status，共有三個介面：

public interface UserStatusService {        /**       * 用戶上線，存儲userId與機器id的關係       *       * @param userId       * @param connectorId       * @return 如果當前用戶在線，則返回他連接的機器id，否則返回null       */      String online(String userId, String connectorId);        /**       * 用戶下線       *       * @param userId       */      void offline(String userId);        /**       * 通過用戶id查找他當前連接的機器id       *       * @param userId       * @return       */      String getConnectorId(String userId);  }

這樣我們就能夠對用戶連接狀態進行管理了，具體的實現應考慮服務的用戶量、期望性能等進行實現。
此處我們使用redis來實現，將userId和connectorId的關係以key-value的形式存儲。

消息轉發

除此之外，還需要一個模組在不同的機器上轉發消息，如下結構：
im-structure1.png

此時我們的服務被拆分成了connector和transfer兩個模組，connector模組用於維持用戶的長鏈接，而transfer的作用是將消息在多個connector之間轉發。
現在Alice和Bob連接到了兩台connector上，那麼消息要如何傳遞呢？

  1. Alice上線，連接到機器[1]上時
    • 將Alice和它的連接存入記憶體中。
    • 調用user status的online方法記錄Alice上線。
  2. Alice發送了一條消息給Bob
    • 機器[1]收到消息後，解析destId，在記憶體中查找是否有Bob。
    • 如果沒有，代表Bob未連接到這台機器，則轉發給transfer。
  3. transfer調用user status的getConnectorId(Bob)方法找到Bob所連接的connector，返回機器[2]，則轉發給機器[2]。

流程圖：
transfer.png

總結：

  • 引入user status模組管理用戶連接，transfer模組在不同的機器之間轉發，使服務可以水平擴展。
  • 為了滿足實時轉發，transfer需要和每台connector機器都保持長鏈接。

離線消息

如果用戶當前不在線，就必須把消息持久化下來，等待用戶下次上線再推送，這裡使用mysql存儲離線消息。
為了方便地水平擴展，我們使用消息隊列進行解耦。

  • transfer接收到消息後如果發現用戶不在線，就發送給消息隊列入庫。
  • 用戶登錄時，伺服器從庫里拉取離線消息進行推送。

用戶登錄、好友關係

用戶的註冊登錄、賬戶管理、好友關係鏈等功能更適合使用http協議，因此我們將這個模組做成一個restful服務，對外暴露http介面供客戶端調用。

至此服務端的基本架構就完成了：
im-structure.png

總結

以上就是這篇部落格的所有內容，本篇幫大家構建了IM服務端的架構，但還有很多細節需要我們去思考，例如：

  • 如何保證消息的順序和唯一
  • 多個設備在線如何保證消息一致性
  • 如何處理消息發送失敗
  • 消息的安全性
  • 如果要存儲聊天記錄要怎麼做
  • 資料庫分表分庫
  • 服務高可用
    ……

更多細節實現就留到下一篇啦～

IM1.0.0版本已上線，github鏈接：
https://github.com/yuanrw/IM
覺得對你有幫助請點個star吧～！

VirMach 便宜 VPS

QNews

QNews