[[352345]]

本文轉(zhuǎn)載自微信公眾號「IT界農(nóng)民工」，作者萊烏。轉(zhuǎn)載本文請聯(lián)系IT界農(nóng)民工公眾號。  

上周因為實在太忙就認認真真寫了一篇水文，吹了一下自己過去的經(jīng)歷，反響竟然超出了我的預(yù)期，并且后臺還有讀者留言表示想看續(xù)集的。哈哈，果然大家還是對水文更有熱情。

這期我們繼續(xù)回到之前的 Redis 話題。今天主要講的是主從復(fù)制數(shù)據(jù)一致性相關(guān)以及面對網(wǎng)絡(luò)中斷如何進行數(shù)據(jù)同步的問題。

不 BB 了，直接上鐘吧!

- 思維導(dǎo)圖 -

主從模式配置

對于 Redis 主從大家可能并不陌生，但是配置的話日常工作中并不會經(jīng)常操作。在這里簡單介紹下主從的相關(guān)配置。

1、主從模式

Redis 中設(shè)置主從的方式很簡單，通常有兩種：

• 通過在配置文件 redis.conf 中設(shè)置 slaveof 方式(永久);
• 直接在客戶端執(zhí)行 slaveof ip port 的方式(臨時);

2、主-從-從模式

對于主-從-從的模式來說，配置也與上邊的操作類似，在這里就不多贅述了。

主從一致性原理

了解了主從配置后，下面就要進入正題了。

在主從中，通常的操作是主庫用來寫入數(shù)據(jù)，從庫用來讀取數(shù)據(jù)。這樣的好處是避免了所有的請求壓力都打在了主庫上，同時系統(tǒng)的伸縮性也得到了很大的提升。

但是問題就來了，讀從庫時的數(shù)據(jù)要與主庫保持一致，那就需要主庫的數(shù)據(jù)在寫入后同步到從庫中。如何保持主庫與從庫的數(shù)據(jù)一致性，當(dāng)有多個從庫時，又如何做到呢?

1、全量復(fù)制

這是第一次同步時所發(fā)生的傳遞關(guān)系?？疵志椭溃鲙斓谝淮尉秃翢o保留的把所有數(shù)據(jù)都傳遞給了從庫。

我們先來看下它們是如何發(fā)生第一次關(guān)系的(就知道你會想歪)。

圖中的同步流程已經(jīng)很清晰了，總共分為三部分：

(1)主從節(jié)點建立聯(lián)系

當(dāng)從節(jié)點與主節(jié)點第一次建立聯(lián)系時，從節(jié)點會向主節(jié)點發(fā)送 psync 命令，表示要進行數(shù)據(jù)同步。

正如你看到的 psync 命令后會帶有兩個參數(shù)：一個是 runID，一個是偏移量 offset。

• runID：每個Redis實例生成的隨機且唯一的ID，在這里表示的是主節(jié)點的ID。
• offset：復(fù)制偏移量。

在圖中第一次復(fù)制時因為不知道主庫ID和偏移量，因此用“?”和“-1”分別來表示runID 和 offset。

當(dāng)主節(jié)點接收到 psync 命令后，會使用 FULLSYNC命令向從節(jié)點發(fā)送 runID 及offset 兩個參數(shù)。從節(jié)點將其信息保存下來。

到這里關(guān)系算是建立了下來。

(2)主節(jié)點同步RDB文件

RDB文件，這是一個老面孔了，持久化時會用到的二進制文件。在這里起著主從數(shù)據(jù)同步的作用，也就是說主從同步是依賴 RDB 文件來實現(xiàn)的。

從節(jié)點接收到 RDB 文件后，在本地完成數(shù)據(jù)加載，算是完成了主從同步。

到這里你有沒有發(fā)現(xiàn)什么問題?

我們回想下 RDB 文件是如何生成的。在持久化那篇文章里，我們介紹過，父進程 fork 了一個子進程來進行生成 RDB 文件。父進程并不阻塞接收處理客戶端的命令。

那么問題就產(chǎn)生了，當(dāng)主節(jié)點把 RDB 文件發(fā)送給從節(jié)點時，主節(jié)點同時接收的命令又該如何來處理?

(3)主節(jié)點同步緩沖區(qū)命令

這一步就是來解決 RDB 文件生成后，父進程又接收到寫命令同步的問題的。

為了保證主從節(jié)點數(shù)據(jù)的一致性，主節(jié)點中會使用緩沖區(qū)來記錄 RDB 文件生成后接收到的寫操作命令。在 RDB 文件發(fā)送完成后會把緩沖區(qū)的命令發(fā)送給從節(jié)點來執(zhí)行。

到這里，主從節(jié)點的數(shù)據(jù)同步算是完成了。

2、級聯(lián)操作

我們再來回顧下整個同步流程，從建立關(guān)系，生成 RDB 文件，傳輸給從節(jié)點到最后緩沖區(qū)命令發(fā)送給從節(jié)點。這是一個從節(jié)點與主節(jié)點同步的完整流程。

那么我們再來思考：當(dāng)有多個從節(jié)點，也就是一主多從時，第一次連接時都要進行全量復(fù)制。但是在生成 RDB 文件時，父進程 fork 子進程時可能會出現(xiàn)阻塞，同時在傳輸 RDB 文件時也會占用帶寬，浪費資源。

這種情況我們該如何來解決呢?

不知道你對文章開頭的 主-從-從模式是否還有印象。通過對從節(jié)點再建立從節(jié)點。同步數(shù)據(jù)時從級聯(lián)的從節(jié)點上進行同步，從而就減輕了主節(jié)點的壓力。

網(wǎng)絡(luò)開小差了

上面的流程我們已經(jīng)知道了正常情況下主從節(jié)點的復(fù)制過程了，但是當(dāng)網(wǎng)絡(luò)中斷導(dǎo)致主從連接失敗等異常情況下，主從同步又是如何來進行的?

在這里要提到一個增量復(fù)制的名詞，與全量復(fù)制不同的是，它是根據(jù)主從節(jié)點的偏移量來進行數(shù)據(jù)同步的。

什么意思呢?

還記得在全量復(fù)制里我們所提到過的緩沖區(qū)嗎?就是用來存儲生成 RDB 文件后的寫命令的，這里我們稱為緩沖區(qū)A。主從節(jié)點斷開連接后，除了會將后續(xù)接收到的寫命令寫入緩沖區(qū)A的同時，還會寫入到另一個緩沖區(qū)B里。

在緩沖區(qū)B里，主從節(jié)點分別會維護一個偏移量 offset。剛開始時，主節(jié)點的寫位置與從節(jié)點的讀位置在同一起點，隨著主節(jié)點的不斷寫入，偏移量也會逐漸增大。同樣地，從節(jié)點復(fù)制完后偏移量也在不斷增加。

當(dāng)網(wǎng)絡(luò)斷開連接時，從節(jié)點不再進行同步，此時主節(jié)點由于不斷接收新的寫操作的偏移量會大于從節(jié)點的偏移量。當(dāng)連接恢復(fù)時，從節(jié)點向主節(jié)點發(fā)送帶有偏移量的psync 命令，主節(jié)點根據(jù)偏移量來進行比較，只需將未同步寫命令同步給從節(jié)點即可。

總結(jié)

主從一致性原理

• 從節(jié)點第一次進行連接時，主節(jié)點會生成 RDB 文件進行全量復(fù)制，同時將新寫入的命令存儲進緩沖區(qū)，發(fā)送給從節(jié)點，從而保證數(shù)據(jù)一致性;
• 為了減少數(shù)據(jù)同步給主節(jié)點帶來的壓力，可以通過從節(jié)點級聯(lián)的方式進行同步。

網(wǎng)絡(luò)開小差了

• 網(wǎng)絡(luò)斷連重新連接后，主從節(jié)點通過分別維護的偏移量來同步寫命令。