深入解析 MySQL 雙寫緩沖區(qū)

作者：碼農(nóng)BookSea 2023-10-09 23:01:09

本文將介紹Doublewrite Buffer的原理和應(yīng)用，幫助讀者深入理解其如何提高MySQL的數(shù)據(jù)可靠性并防止可能的數(shù)據(jù)損壞。

在數(shù)據(jù)庫系統(tǒng)的世界中，保障數(shù)據(jù)的完整性和穩(wěn)定性是至關(guān)重要的任務(wù)。為了實現(xiàn)這一目標(biāo)，MySQL內(nèi)部使用了許多精巧而高效的機制。

InnoDB是MySQL中一種常用的事務(wù)性存儲引擎，它具有很多優(yōu)秀的特性。其中，Doublewrite Buffer是InnoDB的一個重要特性之一，本文將介紹Doublewrite Buffer的原理和應(yīng)用，幫助讀者深入理解其如何提高MySQL的數(shù)據(jù)可靠性并防止可能的數(shù)據(jù)損壞。

為什么需要Doublewrite Buffer

我們常見的服務(wù)器一般都是Linux操作系統(tǒng)，Linux文件系統(tǒng)頁（OS Page）的大小默認是4KB。而MySQL的頁（Page）大小默認是16KB。

可以使用如下命令查看MySQL的Page大小：

SHOW VARIABLES LIKE 'innodb_page_size';

一般情況下，其余程序因為需要跟操作系統(tǒng)交互，所以它們的頁（Page）大小都為操作系統(tǒng)頁大小的整數(shù)倍。比如，Oracle的Page大小為8KB。

MySQL程序是跑在Linux操作系統(tǒng)上的，理所當(dāng)然要跟操作系統(tǒng)交互，所以MySQL中一頁數(shù)據(jù)刷到磁盤，要寫4個文件系統(tǒng)里的頁。

如圖所示：

需要注意的是，這個刷頁的操作并非原子操作，比如我操作系統(tǒng)寫到第二個頁的時候，Linux機器斷電了，這時候就會出現(xiàn)問題了。造成「頁數(shù)據(jù)損壞」。并且這種頁數(shù)據(jù)損壞靠 redo日志是無法修復(fù)的。

redo重做日志中記錄的是對頁的物理操作，而不是頁面的全量記錄，當(dāng)發(fā)生「Partial Page Write（部分頁寫入）」問題時，出現(xiàn)問題的是未修改過的數(shù)據(jù)，此時redo日志無能為力。

Doublewrite Buffer的出現(xiàn)就是為了解決上面的這種情況，給InnoDB存儲引擎提供了數(shù)據(jù)頁的可靠性，雖然名字帶了Buffer，但實際上Doublewrite Buffer是「內(nèi)存+磁盤」的結(jié)構(gòu)。

內(nèi)存結(jié)構(gòu)：Doublewrite Buffer內(nèi)存結(jié)構(gòu)由128個頁（Page）構(gòu)成，大小是2MB。
磁盤結(jié)構(gòu)：Doublewrite Buffer磁盤結(jié)構(gòu)在系統(tǒng)表空間上是128個頁（2個區(qū)，extend1和extend2），大小是2MB。

Doublewrite Buffer的原理是，再把數(shù)據(jù)頁寫到數(shù)據(jù)文件之前，InnoDB先把它們寫到一個叫「doublewrite buffer（雙寫緩沖區(qū)）」的共享表空間內(nèi)，在寫doublewrite buffer完成后，InnoDB才會把頁寫到數(shù)據(jù)文件適當(dāng)?shù)奈恢谩?/p>

如果在寫頁的過程中發(fā)生意外崩潰，InnoDB會在doublewrite buffer中找到完好的page副本用于恢復(fù)。

Doublewrite Buffer原理

如上圖所示，當(dāng)有數(shù)據(jù)頁要刷盤時：

頁數(shù)據(jù)先通過memcpy函數(shù)拷貝至內(nèi)存中的Doublewrite Buffer中。
Doublewrite Buffer的內(nèi)存里的數(shù)據(jù)頁，會fsync刷到Doublewrite Buffer的磁盤上，分兩次寫入磁盤共享表空間中(連續(xù)存儲，順序?qū)懀阅芎芨?，每次寫1MB。
Doublewrite Buffer的內(nèi)存里的數(shù)據(jù)頁，再刷到數(shù)據(jù)磁盤存儲.ibd文件上（離散寫）。

如果操作系統(tǒng)在將頁寫入磁盤的過程中發(fā)生了崩潰，在恢復(fù)過程中，InnoDB存儲引擎可以從共享表空間中的Double write中找到該頁的一個副本，將其復(fù)制到表空間文件，再應(yīng)用redo日志。

所以在正常的情況下，MySQL寫數(shù)據(jù)頁時，會寫兩遍到磁盤上，第一遍是寫到doublewrite buffer，第二遍是寫到真正的數(shù)據(jù)文件中，這便是「Doublewrite」的由來。

我們可以通過如下命令來監(jiān)控Doublewrite Buffer工作負載，該命令用于顯示有關(guān)雙寫緩沖區(qū)(doublewrite buffer)的統(tǒng)計信息。'%dblwr%' 是一個通配符，匹配所有包含 'dblwr' 的狀態(tài)變量。

show global status like '%dblwr%';

這個命令可能會產(chǎn)生如下格式的輸出：

+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| Innodb_dblwr_writes    | 1000  |
| Innodb_dblwr_pages_written | 8000  |
+------------------------+-------+

Doublewrite Buffer和redo log

在MySQL的InnoDB存儲引擎中，Redo log和Doublewrite Buffer共同工作以確保數(shù)據(jù)的持久性和恢復(fù)能力。

當(dāng)有一個DML（如INSERT、UPDATE）操作發(fā)生時， InnoDB會首先將這個操作寫入redo log（內(nèi)存）。這些日志被稱為未檢查點（uncheckpointed）的redo日志。
然后，在修改內(nèi)存中相應(yīng)的數(shù)據(jù)頁之前，需要將這些更改記錄在磁盤上。但是直接把這些修改的頁寫到其真正的位置可能會因發(fā)生故障導(dǎo)致頁部分更新，從而導(dǎo)致數(shù)據(jù)不一致。因此，InnoDB的做法是先將這些修改的頁按順序?qū)懭雂oublewrite buffer。這就是為什么叫做 "doublewrite" —— 數(shù)據(jù)實際上被寫了兩次，先在doublewrite buffer，然后在它們真正的位置。
一旦這些頁被安全地寫入doublewrite buffer，它們就可以按原始的順序?qū)懟氐轿募到y(tǒng)中。即使這個過程在寫回數(shù)據(jù)時發(fā)生故障，我們?nèi)匀豢梢詮膁oublewrite buffer中恢復(fù)數(shù)據(jù)。
最后，當(dāng)事務(wù)提交時，相關(guān)聯(lián)的redo log會被寫入磁盤。這樣即使系統(tǒng)崩潰，redo log也可以用來重播（replay）事務(wù)并恢復(fù)數(shù)據(jù)庫。

在系統(tǒng)恢復(fù)期間，InnoDB會檢查doublewrite buffer，并嘗試從中恢復(fù)損壞的數(shù)據(jù)頁。如果doublewrite buffer中的數(shù)據(jù)是完整的，那么InnoDB就會用doublewrite buffer中的數(shù)據(jù)來更新?lián)p壞的頁。否則，如果doublewrite buffer中的數(shù)據(jù)不完整，InnoDB也有可能丟棄buffer內(nèi)容，重新執(zhí)行那條redo log以嘗試恢復(fù)數(shù)據(jù)。

所以，Redo log和Doublewrite Buffer的協(xié)作可以確保數(shù)據(jù)的完整性和持久性。如果在寫入過程中發(fā)生故障，我們可以從doublewrite buffer中恢復(fù)數(shù)據(jù)，并通過redo log來進行事務(wù)的重播。

Doublewrite Buffer相關(guān)參數(shù)

以下是一些與Doublewrite Buffer相關(guān)的參數(shù)及其含義：

innodb_doublewrite：這個參數(shù)用于啟用或禁用雙寫緩沖區(qū)。設(shè)置為1時啟用，設(shè)置為0時禁用，默認值為1。
innodb_doublewrite_files：這個參數(shù)定義了多少個雙寫文件被使用。默認值為2，有效范圍從2到127。
innodb_doublewrite_dir：這個參數(shù)指定了存儲雙寫緩沖文件的目錄的路徑。默認為空字符串，表示將文件存儲在數(shù)據(jù)目錄中。
innodb_doublewrite_batch_size: 這個參數(shù)定義了每次批處理操作寫入的字節(jié)數(shù)。默認值為0，表示InnoDB會選擇最佳的批量大小。
innodb_doublewrite_pages：這個參數(shù)定義了每個雙寫文件包含多少頁面。默認值為128。

總結(jié)

Doublewrite Buffer是InnoDB的一個重要特性，用于保證MySQL數(shù)據(jù)的可靠性和一致性。

它的實現(xiàn)原理是通過將要寫入磁盤的數(shù)據(jù)先寫入到Doublewrite Buffer中的內(nèi)存緩存區(qū)域，然后再寫入到磁盤的兩個不同位置，來避免由于磁盤損壞等因素導(dǎo)致數(shù)據(jù)丟失或不一致的問題。

總的來說，Doublewrite Buffer對于改善數(shù)據(jù)庫性能和數(shù)據(jù)完整性起著至關(guān)重要的作用。盡管其引入了一些開銷，但在大多數(shù)情況下，這些成本都被其提供的安全性和可靠性所抵消。

責(zé)任編輯：趙寧寧來源： Java隨想錄

MySQL 數(shù)據(jù)庫