支持多線程的 Redis 6.0 版本于 2020-05-02 終于發(fā)布了，為什么 Redis 忽然要支持多線程?如何開啟多線程?開啟后性能提升效果如何?線程數(shù)量該如何設(shè)置?開啟多線程后會(huì)不會(huì)有線程安全問題?多線程的實(shí)現(xiàn)原理是怎樣的?帶著這些疑問，我們來開啟 Redis 新特性-多線程連環(huán) 13 問。

[[325121]]

圖片來自 Pexels

Redis 6.0 來了

在全國一片祥和 IT 民工歡度五一節(jié)假日的時(shí)候，Redis 6.0 不聲不響地于 5 月 2 日正式發(fā)布了，嚇得我趕緊從床上爬起來，學(xué)無止境!學(xué)無止境!

對(duì)于 6.0 版本，Redis 之父 Antirez 在 RC1 版本發(fā)布時(shí)(2019-12-19)在他的博客上連續(xù)用了幾個(gè)“EST”詞語來評(píng)價(jià)：

• the most “enterprise” Redis version to date // 最”企業(yè)級(jí)”的
• the largest release of Redis ever as far as I can tell // 最大的
• the one where the biggest amount of people participated // 參與人數(shù)最多的

這個(gè)版本提供了諸多令人心動(dòng)的新特性及功能改進(jìn)，比如新網(wǎng)絡(luò)協(xié)議 RESP3，新的集群代理，ACL 等，其中關(guān)注度最高的應(yīng)該是“多線程”了。

筆者也第一時(shí)間體驗(yàn)了一下，帶著眾多疑問，我們來一起開始“Redis 6.0 新特性-多線程連環(huán) 13 問”。

Redis 6.0 多線程連環(huán)13問

①Redis 6.0 之前的版本真的是單線程嗎?

Redis 在處理客戶端的請(qǐng)求時(shí)，包括獲取(Socket 讀)、解析、執(zhí)行、內(nèi)容返回(Socket 寫)等都由一個(gè)順序串行的主線程處理，這就是所謂的“單線程”。

但如果嚴(yán)格來講從 Redis 4.0 之后并不是單線程，除了主線程外，它也有后臺(tái)線程在處理一些較為緩慢的操作，例如清理臟數(shù)據(jù)、無用連接的釋放、大 Key 的刪除等等。

②Redis 6.0 之前為什么一直不使用多線程?

官方曾做過類似問題的回復(fù)：使用 Redis 時(shí)，幾乎不存在 CPU 成為瓶頸的情況， Redis 主要受限于內(nèi)存和網(wǎng)絡(luò)。

例如在一個(gè)普通的 Linux 系統(tǒng)上，Redis 通過使用 Pipelining 每秒可以處理 100 萬個(gè)請(qǐng)求，所以如果應(yīng)用程序主要使用 O(N) 或 O(log(N)) 的命令，它幾乎不會(huì)占用太多 CPU。

使用了單線程后，可維護(hù)性高。多線程模型雖然在某些方面表現(xiàn)優(yōu)異，但是它卻引入了程序執(zhí)行順序的不確定性，帶來了并發(fā)讀寫的一系列問題，增加了系統(tǒng)復(fù)雜度、同時(shí)可能存在線程切換、甚至加鎖解鎖、死鎖造成的性能損耗。

Redis 通過 AE 事件模型以及 IO 多路復(fù)用等技術(shù)，處理性能非常高，因此沒有必要使用多線程。

單線程機(jī)制使得 Redis 內(nèi)部實(shí)現(xiàn)的復(fù)雜度大大降低，Hash 的惰性 Rehash、Lpush 等等 “線程不安全” 的命令都可以無鎖進(jìn)行。

③Redis 6.0 為什么要引入多線程呢?

Redis 將所有數(shù)據(jù)放在內(nèi)存中，內(nèi)存的響應(yīng)時(shí)長大約為 100 納秒，對(duì)于小數(shù)據(jù)包，Redis 服務(wù)器可以處理 80,000 到 100,000 QPS，這也是 Redis 處理的極限了，對(duì)于 80% 的公司來說，單線程的 Redis 已經(jīng)足夠使用了。

但隨著越來越復(fù)雜的業(yè)務(wù)場景，有些公司動(dòng)不動(dòng)就上億的交易量，因此需要更大的 QPS。

常見的解決方案是在分布式架構(gòu)中對(duì)數(shù)據(jù)進(jìn)行分區(qū)并采用多個(gè)服務(wù)器，但該方案有非常大的缺點(diǎn)，例如要管理的 Redis 服務(wù)器太多，維護(hù)代價(jià)大。

某些適用于單個(gè) Redis 服務(wù)器的命令不適用于數(shù)據(jù)分區(qū);數(shù)據(jù)分區(qū)無法解決熱點(diǎn)讀/寫問題;數(shù)據(jù)偏斜，重新分配和放大/縮小變得更加復(fù)雜等等。

從 Redis 自身角度來說，因?yàn)樽x寫網(wǎng)絡(luò)的 Read/Write 系統(tǒng)調(diào)用占用了 Redis 執(zhí)行期間大部分 CPU 時(shí)間，瓶頸主要在于網(wǎng)絡(luò)的 IO 消耗。

優(yōu)化主要有兩個(gè)方向:

• 提高網(wǎng)絡(luò) IO 性能，典型的實(shí)現(xiàn)比如使用 DPDK 來替代內(nèi)核網(wǎng)絡(luò)棧的方式。
• 使用多線程充分利用多核，典型的實(shí)現(xiàn)比如 Memcached。

協(xié)議棧優(yōu)化的這種方式跟 Redis 關(guān)系不大，支持多線程是一種最有效最便捷的操作方式。

所以總結(jié)起來，Redis 支持多線程主要就是兩個(gè)原因：

• 可以充分利用服務(wù)器 CPU 資源，目前主線程只能利用一個(gè)核。
• 多線程任務(wù)可以分?jǐn)?Redis 同步 IO 讀寫負(fù)荷。

④Redis 6.0 默認(rèn)是否開啟了多線程?

Redis 6.0 的多線程默認(rèn)是禁用的，只使用主線程。如需開啟需要修改 redis.conf 配置文件：io-threads-do-reads yes。

⑤Redis 6.0 多線程開啟時(shí)，線程數(shù)如何設(shè)置?

開啟多線程后，還需要設(shè)置線程數(shù)，否則是不生效的。同樣修改 redis.conf 配置文件：

關(guān)于線程數(shù)的設(shè)置，官方有一個(gè)建議：4 核的機(jī)器建議設(shè)置為 2 或 3 個(gè)線程，8 核的建議設(shè)置為 6 個(gè)線程，線程數(shù)一定要小于機(jī)器核數(shù)。

還需要注意的是，線程數(shù)并不是越大越好，官方認(rèn)為超過了 8 個(gè)基本就沒什么意義了。

⑥Redis 6.0 采用多線程后，性能的提升效果如何?

Redis 作者 antirez 在 RedisConf 2019 分享時(shí)曾提到：Redis 6 引入的多線程 IO 特性對(duì)性能提升至少是一倍以上。

國內(nèi)也有大牛曾使用 unstable 版本在阿里云 esc 進(jìn)行過測試，GET/SET 命令在 4 線程 IO 時(shí)性能相比單線程是幾乎是翻倍了。

測試環(huán)境：

Redis Server：阿里云 Ubuntu 18.04，8 CPU 2.5 GHZ, 8G 內(nèi)存，主機(jī)型號(hào) ecs.ic5.2xlarge

Redis Benchmark Client：阿里云 Ubuntu 18.04，8 2.5 GHZ CPU, 8G 內(nèi)存，主機(jī)型號(hào) ecs.ic5.2xlarge

測試結(jié)果：

詳見：

https://zhuanlan.zhihu.com/p/76788470

說明 1：這些性能驗(yàn)證的測試并沒有針對(duì)嚴(yán)謹(jǐn)?shù)难訒r(shí)控制和不同并發(fā)的場景進(jìn)行壓測。數(shù)據(jù)僅供驗(yàn)證參考而不能作為線上指標(biāo)。

說明 2：如果開啟多線程，至少要 4 核的機(jī)器，且 Redis 實(shí)例已經(jīng)占用相當(dāng)大的 CPU 耗時(shí)的時(shí)候才建議采用，否則使用多線程沒有意義。所以估計(jì) 80% 的公司開發(fā)人員看看就好。

⑦Redis 6.0 多線程的實(shí)現(xiàn)機(jī)制?

流程簡述如下：

• 主線程負(fù)責(zé)接收建立連接請(qǐng)求，獲取 Socket 放入全局等待讀處理隊(duì)列。
• 主線程處理完讀事件之后，通過 RR(Round Robin)將這些連接分配給這些 IO 線程。
• 主線程阻塞等待 IO 線程讀取 Socket 完畢。
• 主線程通過單線程的方式執(zhí)行請(qǐng)求命令，請(qǐng)求數(shù)據(jù)讀取并解析完成，但并不執(zhí)行。
• 主線程阻塞等待 IO 線程將數(shù)據(jù)回寫 Socket 完畢。
• 解除綁定，清空等待隊(duì)列。

圖片來源：https://ruby-china.org/topics/38957

該設(shè)計(jì)有如下特點(diǎn)：

• IO 線程要么同時(shí)在讀 Socket，要么同時(shí)在寫，不會(huì)同時(shí)讀或?qū)憽?/li>
• IO 線程只負(fù)責(zé)讀寫 Socket 解析命令，不負(fù)責(zé)命令處理。

⑧開啟多線程后，是否會(huì)存在線程并發(fā)安全問題?

從上面的實(shí)現(xiàn)機(jī)制可以看出，Redis 的多線程部分只是用來處理網(wǎng)絡(luò)數(shù)據(jù)的讀寫和協(xié)議解析，執(zhí)行命令仍然是單線程順序執(zhí)行。

所以我們不需要去考慮控制 Key、Lua、事務(wù)，LPUSH/LPOP 等等的并發(fā)及線程安全問題。

⑨Linux 環(huán)境上如何安裝 Redis 6.0.1(6.0 的正式版是 6.0.1)?

這個(gè)和安裝其他版本的 Redis 沒有任何區(qū)別，整個(gè)流程跑下來也沒有任何的坑，所以這里就不做描述了。

唯一要注意的就是配置多線程數(shù)一定要小于 CPU 的核心數(shù)，查看核心數(shù)量命令：

[root@centos7.5 ~]# lscpu 
Architecture: x86_64 
CPU op-mode(s): 32-bit, 64-bit 
Byte Order: Little Endian 
CPU(s): 4 
On-line CPU(s) list: 0-3 

⑩Redis 6.0 的多線程和 Memcached 多線程模型進(jìn)行對(duì)比

前些年 Memcached 是各大互聯(lián)網(wǎng)公司常用的緩存方案，因此 Redis 和 Memcached 的區(qū)別基本成了面試官緩存方面必問的面試題，最近幾年 Memcached 用的少了，基本都是 Redis。

不過隨著 Redis 6.0 加入了多線程特性，類似的問題可能還會(huì)出現(xiàn)，接下來我們只針對(duì)多線程模型來簡單比較一下。

如上圖所示：Memcached 服務(wù)器采用 master-woker 模式進(jìn)行工作，服務(wù)端采用 Socket 與客戶端通訊。主線程、工作線程 采用 Pipe 管道進(jìn)行通訊。

主線程采用 Libevent 監(jiān)聽 Listen、Accept 的讀事件，事件響應(yīng)后將連接信息的數(shù)據(jù)結(jié)構(gòu)封裝起來，根據(jù)算法選擇合適的工作線程，將連接任務(wù)攜帶連接信息分發(fā)出去，相應(yīng)的線程利用連接描述符建立與客戶端的 Socket 連接并進(jìn)行后續(xù)的存取數(shù)據(jù)操作。

Redis 6.0 與 Memcached 多線程模型對(duì)比：

• 相同點(diǎn)：都采用了 Master 線程 -Worker 線程的模型。
• 不同點(diǎn)：Memcached 執(zhí)行主邏輯也是在 Worker 線程里，模型更加簡單，實(shí)現(xiàn)了真正的線程隔離，符合我們對(duì)線程隔離的常規(guī)理解。

而 Redis 把處理邏輯交還給 Master 線程，雖然一定程度上增加了模型復(fù)雜度，但也解決了線程并發(fā)安全等問題。

⑪Redis 作者是如何點(diǎn)評(píng) “多線程”這個(gè)新特性的?

關(guān)于多線程這個(gè)特性，在 6.0 RC1 時(shí)，Antirez 曾做過說明：

Redis 支持多線程有 2 種可行的方式：

第一種就是像“Memcached”那樣，一個(gè) Redis 實(shí)例開啟多個(gè)線程，從而提升GET/SET等簡單命令中每秒可以執(zhí)行的操作。這涉及到 I/O、命令解析等多線程處理，因此，我們將其稱之為“I/O threading”。

另一種就是允許在不同的線程中執(zhí)行較耗時(shí)較慢的命令，以確保其它客戶端不被阻塞，我們將這種線程模型稱為“Slow commands threading”。

經(jīng)過深思熟慮，Redis 不會(huì)采用“I/O threading”，Redis 在運(yùn)行時(shí)主要受制于網(wǎng)絡(luò)和內(nèi)存，所以提升 Redis 性能主要是通過在多個(gè) Redis 實(shí)例，特別是 Redis 集群。

接下來我們主要會(huì)考慮改進(jìn)兩個(gè)方面：

• Redis 集群的多個(gè)實(shí)例通過編排能夠合理地使用本地實(shí)例的磁盤，避免同時(shí)重寫 AOF。
• 提供一個(gè) Redis 集群代理，便于用戶在沒有較好的集群協(xié)議客戶端時(shí)抽象出一個(gè)集群。

補(bǔ)充說明一下，Redis 和 Memcached 一樣是一個(gè)內(nèi)存系統(tǒng)，但不同于 Memcached。

多線程是復(fù)雜的，必須考慮使用簡單的數(shù)據(jù)模型，執(zhí)行 LPUSH 的線程需要服務(wù)其他執(zhí)行 LPOP 的線程。

我真正期望的實(shí)際是“slow operations threading”，在 Redis 6 或 Redis 7 中，將提供“key-level locking”，使得線程可以完全獲得對(duì)鍵的控制以處理緩慢的操作。詳見：

http://antirez.com/news/126

⑫Redis 線程中經(jīng)常提到 IO 多路復(fù)用，如何理解?

這是 IO 模型的一種，即經(jīng)典的 Reactor 設(shè)計(jì)模式，有時(shí)也稱為異步阻塞 IO。

多路指的是多個(gè) Socket 連接，復(fù)用指的是復(fù)用一個(gè)線程。多路復(fù)用主要有三種技術(shù)：Select，Poll，Epoll。

Epoll 是最新的也是目前最好的多路復(fù)用技術(shù)。采用多路 I/O 復(fù)用技術(shù)可以讓單個(gè)線程高效的處理多個(gè)連接請(qǐng)求(盡量減少網(wǎng)絡(luò) IO 的時(shí)間消耗)，且 Redis 在內(nèi)存中操作數(shù)據(jù)的速度非常快(內(nèi)存內(nèi)的操作不會(huì)成為這里的性能瓶頸)，主要以上兩點(diǎn)造就了 Redis 具有很高的吞吐量。

⑬你知道 Redis 的彩蛋 LOLWUT 嗎?

這個(gè)其實(shí)從 Redis 5.0 就開始有了，但是原諒我剛剛知道。作者是這么描述這個(gè)功能的《LOLWUT: a piece of art inside a database command》，“數(shù)據(jù)庫命令中的一件藝術(shù)品”。

你可以把它稱之為情懷，也可以稱之為彩蛋，具體是什么，我就不透露了。和我一樣不清楚是什么的小伙伴可以參見：http://antirez.com/news/123，每次運(yùn)行都會(huì)隨機(jī)生成的噢。

參考、致謝：

• Redis 作者 Antirez 的博客：http://antirez.com
• https://www.zhihu.com/question/26943938/answer/68773398
• https://zhuanlan.zhihu.com/p/76788470
• http://www.web-lovers.com/redis-source-6-rc-mult-thread.html
• https://ruby-china.org/topics/38957
• https://redis.io/topics/faq#redis-is-single-threaded-how-can-i-exploit-multiple-cpu--cores
• https://juejin.im/post/5e9ae485f265da47b04d95d2
• https://www.cnblogs.com/gattaca/p/6929361.html

作者：劍圣

編輯：陶家龍

出處：轉(zhuǎn)載自微信公眾號(hào)碼大叔(ID：ma_dashu)