一次 Redis 事務使用不當引發的生產事故

作者：悟空聊架構 2022-10-25 18:00:00

現象：每天早上客服人員在后臺創建客服事件時，都會創建失敗。當我們重啟這個微服務后，后臺就可以正常創建了客服事件了。到第二天早上又會創建失敗，又得重啟這個微服務才行。

你好，我是悟空。

本文主要內容如下：

一、前言

最近項目的生產環境遇到一個奇怪的問題：

初步排查：創建一個客服事件時，會用到 Redis 的遞增操作來生成一個唯一的分布式 ID 作為事件 id。代碼如下所示：

return redisTemplate.opsForValue().increment("count", 1);

而恰巧每天早上這個遞增操作都會返回 null，進而導致后面的一系列邏輯出錯，保存客服事件失敗。當重啟微服務后，這個遞增操作又正常了。

那么排查的方向就是 Redis 的操作為什么會返回 null 了，以及為什么重啟就又恢復正常了。

二、排查

根據上面的信息，我們先來看看 Redis 的自增操作在什么情況下會返回 null。

2.1 推測一

根據重啟后就恢復正常，我們推測晚上執行了大量的 job，大量 Redis 連接未釋放，當早上再來執行 Redis 操作時，執行失敗。重啟后，連接自動釋放了。

但是其他有使用到 Redis 的業務功能又是正常的，所以推測一的方向有問題，排除。

2.2 推測二

可能是 Redis 事務造成的問題。這個推測的依據是根據下面的代碼來排查的。

直接看 redisTemplate? 遞增的方法 increment，如下所示：

官方注釋已經說明什么情況下會返回 null：

當在 pipeline（管道）中使用這個 increment 方法時會返回 null。
當在 transaction（事務）中使用這個 increment 方法時會返回 null。

事務提供了一種將多個命令打包，然后一次性、有序地執行機制.

多個命令會被入列到事務隊列中，然后按先進先出（FIFO）的順序執行。

事務在執行過程中不會被中斷，當事務隊列中的所有命令都被執行完畢之后，事務才會結束。（內容來自 Redis 設計與實現）

繼續看代碼，發現在操作 Redis 的 ServiceImpl 實現類的上面添加了一個 @Transactional 注解，推測是不是這個注解影響了 Redis 的操作結果。

2.3 驗證推測二

如下面的表格所示，第二行中沒有添加 Spring 的事務注解 @Transactional?時，執行 Redis 的遞增命令肯定是正常的，而接下來要驗證的是表格中的第一行：加了 @Transactional 是否對 Redis 的命令有影響。

為了驗證上面的推論，我寫了一個 Demo 程序。

Controller 類，定義了一個 API，用來模擬前端發起的請求：

Service 實現類，定義了一個方法，用來遞增 Redis 中的 count 鍵，每次遞增 1，然后返回命令執行后的結果。而且這個 Service 方法加了@Transactional 注解。

Postman 測試下，發現每發一次請求，count 都會遞增 1，并沒有返回 null。

然后到 Redis 中查看數據，count 的值也是遞增后的值 38，也不是 null。

通過這個實驗說明在 @Transactional 注解的方法里面執行 Redis 的操作并不會返回 null，結論我記錄到了表格中。

所以說上面的推論不成立（加了 @Transactional 注解并不影響），到這里線索似乎斷了。

2.4 推測三

然后跟當時做這塊功能的開發人員說明了情況，告訴他可能是 Redis 事務造成的，然后問有沒有其他同學在凌晨執行過 Redis 事務相關的 Job。

他說最近有同事加過 Redis 的事務功能，在凌晨執行 Job 的時候用到事務。我將這位同事加的代碼簡化后如下所示：

下面是針對這段代碼的解釋，簡單來說就是開啟事務，將 Redis 命令順序放到一個隊列中，然后最后一起執行，且保證原子性。

setEnableTransactionSupport表示是否開啟事務支持，默認不開啟。

難道開啟了 Redis 事務，還能影響 Spring 事務中的 Redis 操作？

2.5 驗證推測三

如下表，序號 3 和序號 4 的場景都是開啟了 Redis 的事務支持，兩個場景的區別是是否加了 @Transactional 注解。

為了驗證上面的場景，我們來做個實驗：

先開啟 Redis 事務支持，然后執行 Redis 的事務命令 multi 和 exec 。
驗證場景 3：在 @Transactional 注解的方法中執行 Redis 的遞增操作。
驗證場景 4：在非 @Transactional 注解的方法中執行 Redis 的遞增操作

2.5.1 執行 Redis 事務

首先就用 Redis 的 multi 和 exec 命令來設置兩個 key 的值。

如下圖所示，設置成功了。

2.5.2 @Transactional 中執行 Redis 命令

接下來在標注有 @Transactional 注解的方法中執行 Redis 的遞增操作。

多次執行這個命令返回的結果都是 null，這不就正好重現了！

再來看 Redis 中 count 的值，發現每執行一次 API 請求調用，都會遞增 1，所以雖然命令返回的是 null，但最后 Redis 中存放的還是遞增后的結果。

接下來我們驗證下場景 4，先執行 Redis 事務操作，然后在不添加 @Transactional 注解的方法中執行 Redis 遞增操作。

用 Postman 調用這個接口后，正常返回自增后的結果，并不是返回 null。說明在非 @Transactional 中執行 Redis 操作并沒有受到 Redis 事務的影響。

四個場景的結論如下所示，只有第三個場景下，Redis 的遞增操作才會返回 null。

問題原因找到了，說明 RedisTemplete 開啟了 Redis 事務支持后，在 @Transactional 中執行的 Redis 命令也會被認為是在 Redis 事務中執行的，要執行的遞增命令會被放到隊列中，不會立即返回執行后的結果，返回的是一個 null，需要等待事務提交時，隊列中的命令才會順序執行，最后 Redis 數據庫的鍵值才會遞增。

三、源碼解析

那我們就看下為什么開啟了 Redis 事務支持，效果就不一樣了。

找到 Redis 執行命令的核心方法， execute 方法。

然后一步一步點進去看，關鍵代碼就是 211 行到 216 行，有一個邏輯判斷，當開啟了 Redis 事務支持后，就會去綁定一個連接（bindConnection?），否則就去獲取新的 Redis 連接（getConnection?）。這里我們是開啟了的，所以再到 bindConnection方法中查看如何綁定連接的。

接著往下看，關鍵代碼如下所示，當開啟了 Redis 事務支持，且添加了 @Transactional 注解時，就會執行 Redis 的 mutil 命令。

關鍵代碼：conn.multi();

Redis Multi 命令用于標記一個事務塊的開始，事務塊內的多條命令會按照先后順序被放進一個隊列當中，最后由 EXEC 命令原子性(atomic)地執行。

真相大白，開啟 Redis 事務支持 + @Transactional 注解后，最后其實是標記了一個 Redis 事務塊，后續的操作命令是在這個事務塊中執行的。

比如下面的的遞增命令并不會返回遞增后的結果，而是返回 null。

stringRedisTemplate.opsForValue().increment("count", 1);

而我們的生產環境重啟服務后，開啟的 Redis 事務支持又被重置為默認值了，所以后續的 Redis 遞增操作都能正常執行。

四、修復方案

目前想到了兩種解決方案：

方案一：每次 Redis 的事務操作完成后，關閉 Redis 事務支持，然后再執行 @Transactional 中的 Redis 命令。（有弊端）

方案二：創建兩個 StringRedisTemplate，一個專門用來執行 Redis 事務，一個用來執行普通的 Redis 命令。

4.1 方案一

方案一的寫法如下，先開啟事務支持，事務執行之后，再關閉事務支持。

但是這種寫法有個弊端，如果在執行 Redis 事務期間，在 @Transactional 注解的方法里面執行 Redis 命令，則還是會造成返回結果為 null。

4.2 方案二

弄兩個 RedisTemplate Bean，一個是用來執行 Redis 事務的，一個是用來執行普通 Redis 命令的（不支持事務）。不同的地方引入不同的 Bean 就可以了。

先創建一個 RedisConfig 文件，自動裝配兩個 Bean。一個 Bean 名為 stringRedisTemplate? 代表不支持事務的，執行命令后立即返回實際的執行結果。另外一個 Bean 名為 stringRedisTemplateTransaction，代表開啟 Redis 事務支持的。

代碼如下所示：