我們來談下高並發和分佈式中的冪等處理
- 2019 年 10 月 29 日
- 筆記
來源：http://t.cn/EyxYjHn
- 我們先來談下冪等的概念
- 實現冪等性的技術方案
- 最後總結：
我們先來談下冪等的概念
抽象概念
冪等（idempotent、idempotence）是一個數學與計算機學概念，常見於抽象代數中。
在編程中，一個冪等操作的特點是其任意多次執行所產生的影響均與一次執行的影響相同。冪等函數，或冪等方法，是指可以使用相同參數重複執行，並能獲得相同結果的函數。這些函數不會影響系統狀態，也不用擔心重複執行會對系統造成改變。例如，「getUsername()和setTrue()」函數就是一個冪等函數。
用通俗的話講：就是針對一個操作，不管做多少次，產生效果或返回的結果都是一樣的
舉幾個例子：
1.比如前端對同一表單數據的重複提交，後台應該只會產生一個結果 2.比如我們發起一筆付款請求，應該只扣用戶賬戶一次錢，當遇到網絡重發或系統bug重發，也應該只扣一次錢 3.比如發送消息，也應該只發一次，同樣的短訊如果多次發給用戶，用戶會崩潰 4.比如創建業務訂單，一次業務請求只能創建一個，不能出現創建多個訂單
還有很多諸如此類的，這些邏輯都需要冪等的特性來支持。
實現冪等性的技術方案
查詢操作
查詢一次和查詢多次，在數據不變的情況下，查詢結果是一樣的，select是天然的冪等操作。
刪除操作
刪除操作也是冪等的，刪除一次和多次刪除都是把數據刪除。(注意可能返回結果不一樣，刪除的數據不存在 ，返回0，刪除的數據多條，返回結果多個)。
唯一索引，防止新增臟數據
拿資金賬戶和用戶賬戶來說，每個用戶只能有一個資金賬戶，怎麼防止給用戶創建資金賬戶多個，那麼給資 金賬戶表中的用戶ID加唯一索引，在新增的時候只有一個能請求成功，剩下都會拋出唯一索引重複異常。比 如`org.springframework.dao.DuplicateKeyException`，這時候再查詢一次就可以了，數據存在，返回結果
token機制，防止頁面重複提交
要求：頁面的數據只能被點擊提交一次 發生原因：由於重複點擊或者網絡重發，或者nginx重發等情況會導致數據被重複提交 解決辦法： 集群環境：採用token加redis 單JVM環境：採用token加redis或token加jvm內存 處理流程： 數據提交前要向服務的申請token，token放到redis或jvm內存，token有效時間 提交後後台校驗token，同時刪除token，生成新的token返回 token特點：要申請，一次有效性，可以限流 注意：redis要用刪除操作來判斷token，刪除成功代表token校驗通過，如果用select+delete來校驗token， 存在並發問題，不建議使用
悲觀鎖
獲取數據的時候加鎖獲取 select * from table_xxx where id=』xxx』 for update; 注意：id字段一定是主鍵或者唯一索引，不然是鎖表，會出事的。 悲觀鎖使用時一般伴隨事務一起使用，數據鎖定時間可能會很長，根據實際情況選用
樂觀鎖
樂觀鎖只是在更新數據那一刻鎖表，其他時間不鎖表，所以相對於悲觀鎖，效率更高。 樂觀鎖的實現方式多種多樣可以通過version或者其他狀態條件： 1.通過版本號實現 update table_xxx set name=#name#,version=version+1 where version=#version# 2.通過條件限制 update table_xxx set avai_amount=avai_amount-#subAmount# where avai_amount-#subAmount# >= 0 要求：avai_amount-subAmount >=0 這個情景適合不用版本號，只更新是做數據安全校驗，適合庫存模型，扣份額和回滾份額，性能更高。 注意：樂觀鎖的更新操作，最好用主鍵或者唯一索引來更新,這樣是行鎖，否則更新時會鎖表，上面兩個sql改成下面的兩個更好。 update table_xxx set name=#name#,version=version+1 where id=#id# and version=#version# update table_xxx set avai_amount=avai_amount-#subAmount# where id=#id# and avai_amount-#subAmount# >= 0
分佈式鎖
還是拿插入數據的例子，如果是分佈是系統，構建全局唯一索引比較困難，例如唯一性的字段沒法確定，這時候可以引入分佈式鎖，通過第三方的系統(redis或zookeeper)，在業務系統插入數據或者更新數據，獲取分佈式鎖，然後做操作，之後釋放鎖，其實就是為了控制多線程並發的操作，也是分佈式系統中經常用到的解決思路。
以上關於鎖的內容大家可以閱讀下這篇文章加深了解分佈式鎖總結
select + insert
並發不高的後台系統，或者一些任務JOB，為了支持冪等，支持重複執行，簡單的處理方法是，先查詢下一些關鍵數據，判斷是否已經執行過，在進行業務處理，就可以了。
注意：核心高並發流程不要用這種方法。
狀態機冪等
在設計單據相關的業務，或者是任務相關的業務，肯定會涉及到狀態機(狀態變更圖)，就是業務單據上面有個狀態，狀態在不同的情況下會發生變更，一般情況下存在有限狀態機，這時候，如果狀態機已經處於下一個狀態，這時候來了一個上一個狀態的變更，理論上是不能夠變更的，這樣的話，保證了有限狀態機的冪等。
注意：訂單等單據類業務，存在很長的狀態流轉，一定要深刻理解狀態機，對業務系統設計能力提高有很大幫助。
對外提供接口的api如何保證冪等
如銀聯提供的付款接口：需要接入商戶提交付款請求時附帶：source來源，seq序列號
source+seq在數據庫裏面做唯一索引，防止多次付款，(並發時，只能處理一個請求)。
重點：
對外提供接口為了支持冪等調用，接口有兩個字段必須傳，一個是來源source，一個是來源方序列號seq，這個兩個字段在提供方系統裏面做聯合唯一索引，這樣當第三方調用時，先在本方系統裏面查詢一下，是否已經處理過，返回相應處理結果；沒有處理過，進行相應處理，返回結果。注意，為了冪等友好，一定要先查詢一下，是否處理過該筆業務，不查詢直接插入業務系統，會報錯，但實際已經處理了。
最後總結：
冪等性應該是合格程序員的一個基因，在設計系統時，是首要考慮的問題，尤其是在像第三方支付平台，銀行，互聯網金融公司等涉及的網上資金系統，既要高效，數據也要準確，所以不能出現多扣款，多打款等問題，這樣會很難處理，並會大大降低用戶體驗。
