【編碼日常】微服務介面兼容性升級之序列化

  • 2019 年 11 月 5 日
  • 筆記

dubbo rpc 介面兼容升級 hessian2 序列化

任何使用微服務架構的團隊，作為介面提供方若對擴展性沒有考慮周全的話，後續的升級和打修補程式絕對是一件讓人頭疼的事情。要不新增介面與原介面物理隔離，但這會造成介面數量的迅速膨脹和維護困難；要不小心翼翼的修改原介面，盡量考慮兼容到所有依賴系統，而這很容易進入顧此失彼/百密一疏的境地。

本文作者的團隊是基於Dubbo微服務架構，所以很多說明和示例都與此有關，我會盡量表述清楚，不妨礙大家理解和閱讀。

#兼容性升級常見問題

1. 參數本身或內部成員變數的【類型****修改】

這裡的參數包括入參出參, 下文不再特別說明。

既然是兼容升級，修改類定義指的通常是修改為父類。比如MailForm修改為父類BaseForm甚至Object，用來處理類型邊界更廣的數據。問題隨之而來，邊界放大了可以收入或者釋放更多類型的數據，但是邏輯複雜度也不可避免的升高，稍有不慎萬劫不復。此類修改強烈不建議。

2. 參數內部【增刪成員變數】

新增應該是最經常發生的。很多時候我們沒辦法預估到未來的某個需求時，比如要新增一個屬性讓調用方傳遞過來，可能是必填也可能是非必填，如果是沒有封裝為對象只是在入參內一一羅列屬性變數，這種低級的設計誤區我們就不提了；所以一般是封裝為對象作為入參，而這時我們就不得不在對象內新增一個成員變數。

刪除一個屬性欄位的情況很少發生，這裡說的場景是：服務方新加了一個屬性欄位，並提供了一個新的jar包，然後調用方拿著新jar在生產環境發布，而服務方卻因為某些原因沒有上線，這就出現了好像服務方「刪除」了一個欄位一樣。

3. 修改參數對象的【數據結構】

可能有人會說修改數據結構和兼容性不可能同時出現，這個不能絕對，因為編程中介面定義作為雙方約定好的承諾，被單方面破壞的事情偶有發生。比如服務方提供一個接收 Map 類型的方法，如果沒約定好具體的實現，調用方使用HashMap、LinkedHashMap、TreeMap的可能性都存在，如果不小心直接使用了TreeMap.firstKey()，只有妥妥的異常。

4. 使用Enum 參數

服務方為了調用方的方便不少人喜歡將參數定義成枚舉，殊不知這在RPC介面定義中是一大忌，因為一旦新增枚舉值就絕對會導致一片血雨腥風，後文會從序列化角度來說明為何不可。友情提醒，還是老老實實用常量類來實現比較穩妥。

5. 簡單總個結

上文主要總結了一些日常會碰到的問題，不少人可能也曾深受其害。介面升級務必充分測試，萬不可想當然。舉個實際的案例，某個介面的出參是一個Json字元串，有次升級給Json新增了一個Key值，這個Key值很多場景下無關痛癢，只有很特殊的場景才會用這個值。服務方的想法很簡單，就算是沒有升級的老的調用方解析出這個Key，他的邏輯里也不會對其進行任何操作，理論上沒有任何問題。而最後的結果很驚悚，它會導致某些版本的客戶端App閃退!

無法免俗的還是不得不提下RPC微服務介面設計和升級的幾個要素和建議：

a. 介面或者類最好預定義好版本號，可以基於配置(比如dubbo xml)，也可以基於類/方法命名。

b. 不能保證萬無一失的升級，就盡量新增介面而不是修改，也就是常說的開閉原則。

c. 介面涉及的對象一定要拿捏好邊界。不能暴露非必要的屬性欄位，造成後期的維護升級難度提高；也不能將屬性欄位定義的太死，不怎麼修改的相對穩定的欄位可以用確定的類型，而有很大可能性變動的欄位建議用模糊的類型定義，比如Map、List等集合類。

d. 用靜態常量代替 Enum 類型。

e. 用相對扁平的數據結構，不要使用嵌套過多的集合類型等。

f. 其他...

【Incompatible Changes & Compatible Changes】   https://docs.oracle.com/javase/8/docs/platform/serialization/spec/version.html#a5172

#serialVersionUID

RPC調用本質無非就是數據的傳遞，而數據在RPC場景下無非就是序列化的二進位對象，然後成功調用的基本前提就是能夠在 Remote 端反序列化恢復成原本的對象。所以本文我們就把介面升級這件事轉換到如何保證序列化&反序列化成功率的角度。

先簡單把序列化相關基礎知識準備一下。談到序列化大家腦子裡先蹦出來的應該是 Serializable這個Marker標記型介面，和該介面的實現類( IDE通常會提示讓你生成 )的一個變數值：

 private static final long **serialVersionUID** = 1L;    【4.6 Stream Unique Identifiers】   https://docs.oracle.com/javase/7/docs/platform/serialization/spec/class.html#4100

這個值的演算法簡單說就是對類名，介面名，方法和屬性的名稱、修飾符以及描述符的64位哈希值。動態代理類和枚舉類的該值都是 0L。特別說明：static/transient類型成員變數、私有方法都不參與Hash值計算。

它也是JDK官方定義的所有序列化的類必須設定的，不過如果程式碼里沒有顯性設置，也不用擔心，JVM會使用相同的演算法幫你生成一個。

一個類能序列化的前提是它內部所引用的所有對象也必須可以被序列化，這點是很容易被忽視的。

有個不怎麼常用的 Externalizable，不知道多少人用過，它繼承自 Serializable，是個歷史遺留介面。有興趣的可以自己了解下。

對JDK序列化方式本文不會再展開，主流的RPC調用框架一般都不會選擇JDK序列化方式，因為它的性能相比hessian2, kryo, FST, protstuff, thrift等等基本沒有任何優勢。

#Dubbo hessian2 序列化測試

Dubbo框架預設的dubbo協議默認序列化方式就是Hessian2, 話不多說，直接上針對Hessian2的測試程式碼，然後出結論。程式碼設計簡述如下：

  1. 使用兩個完全不同的Project，保證同一個package對象做修改不會互相影響。（一開始考慮過用自定義的Classloader來隔離和模擬調用方和服務方兩個同名不同內容的對象，發現複雜度有點高，放棄）
  2. 不需要真正的發起RPC調用，雙方使用本地的二進位文件簡單模擬傳輸通道。

兩個工程：

  • Project-Provider
  • Project-Consumer

分別實現四個類：

  • HessianUtil(Hessian工具類)
  • SerialBean(序列化的Bean)
  • RequestEnum(枚舉類)
  • Main(Main測試主入口)

HessianUtil.java

SerialBean.java

RequestEnum.java

Main.java Provider調用serialize(), Consumer調用deserialize()*

測試案例

程式碼準備完畢，開始我們的測試案例，下圖是筆者的一些用例和測試結果：

圖中「綠色對勾」圖標表示可以成功序列化和反序列化，「紅色叉」圖標表示不能完全或者部分行不通(比如存在的枚舉值行得通)

image

大家有興趣可以自己去驗證更多的案例，這裡直接總結結論：

  1. 所有RPC交換對象必須實現Serializable介面;
  2. serialVersionUID 對hessian2無任何影響;
  3. 構造方法不管是否私有，對hessian2無任何影響;
  4. 類型定義除了比較容易理解的修改成父類沒有影響之外，類似Long to Boolean也可以成功運行相信很多人沒想到，雖然行得通，但是程式碼邏輯已經失控，肯定是不會建議大家這麼做；
  5. 枚舉類中增刪新的枚舉值，對於雙方存在的枚舉值不會報錯，但是一方不存在的就會反序列化異常；
  6. 其他多層嵌套和集合類的測試交給讀者自測吧，筆者就不展開了哈哈哈

Dubbo Http協議的坑

架構組老錢前端時間把Mail基礎組件從1.0升級成2.0的時候，分享了一個坑。簡單來說就是原有MailForm沒有顯性的設置serialVersionUID, 後來升級新增了欄位導致serialVersionUID的計算結果產生變化，一些依賴Mail1.0的調用方會報錯，最後不得不顯性的設置serialVersionUID並保持不變，這樣老的調用方就不會拋異常了。

後來筆者通過上文的各種測試發現這種情況與結論相悖，因為hessian2壓根就無視serialVersionUID的存在，到底是怎麼發生的呢？苦思無果下，突然想到Mail1.0版本提供的微服務採用的是http協議不是默認的dubbo協議，會不會http協議採用的默認序列化方式不是hessian2呢？看圖!

上圖是Debug過程中的一張截圖，大家可以看89行，對象obj是通過ois.readObject() 反序列化出來的。再看ois這個流對象CodebaseAwareObjectInputStream壓根就不是Hessian2體系內的類，而是Spring框架里繼承自java.io.ObjectInputStream的一個流對象。到這裡就說得通了，因為JDK自帶的序列化機制確實會嚴格比對serianVersionUID是否一致，出現上面的異常也就不足為怪了。

Hessian2 如何處理不存在的類

再送一個知識點，hessian2反序列化的類如果在當前jvm里或者classloader里不存在，會出現什麼場景？

上圖是SerializerFactory用來根據反序列化的類型找反序列化器的源碼，很清晰的看到是MapDeserializer，它會把不存在的對象按照成員變數的名稱反序列化成一個HashMap結構。

這個問題是筆者在使用自定義classloader模擬測試的時候發現的，一併分享出來。

END

Tags:

VirMach 便宜 VPS