深入淺出分析 Mysql 的 InnoDB 工作原理，硬核干貨！
一 、上期回顧
上次小編講了一條sql的執(zhí)行流程，總結(jié)如下：
- 解析器（Parser）：檢查SQL語法，生成語法樹。
- 優(yōu)化器（Optimizer）：選擇最優(yōu)執(zhí)行計(jì)劃，確定索引路徑。
- 執(zhí)行器（Executor）：根據(jù)優(yōu)化器計(jì)劃，調(diào)用存儲(chǔ)引擎執(zhí)行操作。
- InnoDB存儲(chǔ)引擎
行級(jí)鎖：對(duì)特定記錄加鎖，避免并發(fā)沖突。
數(shù)據(jù)修改：實(shí)際更新記錄，記錄修改到redo log。
事務(wù)控制（ACID）：事務(wù)提交或回滾，確保數(shù)據(jù)一致性和持久性。
- 返回結(jié)果：將執(zhí)行結(jié)果返回給客戶端。
然后小編也說了，InnoDB存儲(chǔ)引擎里面不止做了這幾件事，所以這期小編來聊聊InnoDB存儲(chǔ)引擎做了哪些事情。
二 、innoDB
2.1 一條更新sql語句的執(zhí)行流程圖
圖片
2.2 buffer pool（innoDB）
Buffer Pool的定義
Buffer Pool 是一塊內(nèi)存區(qū)域，專門用于存儲(chǔ)數(shù)據(jù)庫的數(shù)據(jù)頁和索引頁，以便數(shù)據(jù)庫在查詢或更新數(shù)據(jù)時(shí)，能夠直接從內(nèi)存讀取而不是從磁盤讀取，極大地提高了查詢性能。
Buffer Pool的作用
- 緩存數(shù)據(jù)頁：當(dāng)用戶查詢數(shù)據(jù)時(shí)，InnoDB會(huì)首先查看Buffer Pool中是否已經(jīng)緩存了所需的數(shù)據(jù)。如果緩存命中，數(shù)據(jù)直接從內(nèi)存中讀取，速度快于從磁盤讀取。
- 減少磁盤I/O：由于磁盤I/O操作相對(duì)較慢，Buffer Pool能顯著減少數(shù)據(jù)庫對(duì)磁盤的讀取次數(shù)，從而提高性能。
- 并發(fā)控制：InnoDB會(huì)管理對(duì)Buffer Pool的訪問，確保在并發(fā)情況下對(duì)內(nèi)存的訪問是高效的。
性能調(diào)優(yōu)建議
- 調(diào)整大小：合理分配Buffer Pool大小可以顯著提高性能。建議分配服務(wù)器可用內(nèi)存的一大部分給Buffer Pool，以減少磁盤訪問。
- 監(jiān)控和調(diào)整：使用命令SHOW ENGINE INNODB STATUS 或者查詢性能視圖來監(jiān)控Buffer Pool的使用情況，如命中率、讀取次數(shù)等，并根據(jù)需要調(diào)整Buffer Pool的大小。
另外 buffer pool既然是將物理磁盤的數(shù)據(jù)緩存起來，那么它的數(shù)據(jù)結(jié)構(gòu)，內(nèi)存不夠時(shí)的淘汰策略等等，小編將新開一篇mysql innoDB的buffer pool單獨(dú)講解，有興趣的同學(xué)記的關(guān)注后續(xù)文章。
2.3 undo log（innoDB）
Undo Log的定義
Undo Log 是用于記錄數(shù)據(jù)在進(jìn)行修改之前的狀態(tài)的日志。當(dāng)一個(gè)事務(wù)執(zhí)行時(shí)，任何對(duì)數(shù)據(jù)的修改都會(huì)在修改前記錄到Undo Log中。如果事務(wù)因?yàn)槟承┰蚴』虮伙@式回滾，InnoDB會(huì)利用Undo Log將數(shù)據(jù)恢復(fù)到修改前的狀態(tài)。
Undo Log的作用
- 事務(wù)回滾
如果一個(gè)事務(wù)在執(zhí)行過程中出現(xiàn)錯(cuò)誤或者用戶顯式執(zhí)行ROLLBACK，InnoDB會(huì)利用Undo Log中的記錄將數(shù)據(jù)恢復(fù)到事務(wù)開始前的狀態(tài)，確保事務(wù)的原子性。
- MVCC（多版本并發(fā)控制）
- Undo Log幫助實(shí)現(xiàn)多版本并發(fā)控制（MVCC, Multiversion Concurrency Control）。當(dāng)一個(gè)事務(wù)在讀取數(shù)據(jù)時(shí)，可能有其他事務(wù)正在修改相同的數(shù)據(jù)。Undo Log允許未提交的事務(wù)看到修改前的數(shù)據(jù)，而其他事務(wù)可以繼續(xù)訪問原始版本的記錄，確保事務(wù)之間的隔離性。
- 崩潰恢復(fù)
- 如果數(shù)據(jù)庫因意外宕機(jī)或崩潰，未完成的事務(wù)會(huì)被回滾。數(shù)據(jù)庫在重新啟動(dòng)時(shí)，可以通過分析Undo Log，將未提交的事務(wù)的修改回滾，從而確保數(shù)據(jù)一致性。
Undo Log與Redo Log的區(qū)別
- Undo Log：主要用于事務(wù)回滾和MVCC。記錄的是數(shù)據(jù)修改前的舊值，以便在需要時(shí)回滾。
- Redo Log：主要用于持久性（Durability）。記錄的是數(shù)據(jù)的修改操作，以便在系統(tǒng)崩潰后恢復(fù)事務(wù)的修改。
2.4 redo log（innoDB）
Redo Log的定義
Redo Log 是一種物理日志，記錄的是數(shù)據(jù)頁的修改操作，而不是具體的數(shù)據(jù)內(nèi)容。當(dāng)一個(gè)事務(wù)對(duì)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行修改時(shí)，InnoDB會(huì)先將這些修改操作記錄到Redo Log中，然后再將這些操作實(shí)際寫入到磁盤的數(shù)據(jù)文件中。
Redo Log的作用
- 數(shù)據(jù)恢復(fù)：
在發(fā)生系統(tǒng)崩潰、宕機(jī)或硬件故障時(shí)，Redo Log能夠用于重做未完成的事務(wù)，確保數(shù)據(jù)庫在恢復(fù)時(shí)仍然可以反映出所有已提交的事務(wù)修改。這是事務(wù)的持久性保證。
- 性能優(yōu)化：
- Redo Log允許數(shù)據(jù)庫在不必每次修改都立即將數(shù)據(jù)寫入磁盤的情況下，先把修改記錄到日志中。這極大提高了性能，因?yàn)閷懭肴罩就ǔ１入S機(jī)寫入磁盤上的數(shù)據(jù)頁要快。
- 數(shù)據(jù)修改可以在適當(dāng)?shù)臅r(shí)候（比如內(nèi)存不足時(shí)或達(dá)到一定的時(shí)間間隔時(shí)）通過后臺(tái)進(jìn)程慢慢刷新到磁盤文件中，而不影響事務(wù)的提交速度。
- 支持事務(wù)提交：
- 當(dāng)事務(wù)執(zhí)行COMMIT時(shí)，InnoDB首先會(huì)將所有相關(guān)的修改操作寫入Redo Log，并確保這些日志已經(jīng)安全地存儲(chǔ)在磁盤上，之后事務(wù)才會(huì)被認(rèn)為是成功提交。即使在事務(wù)提交后數(shù)據(jù)庫發(fā)生崩潰，事務(wù)的修改也可以通過Redo Log來恢復(fù)。
Redo Log的工作原理
- 當(dāng)事務(wù)開始修改數(shù)據(jù)時(shí)，InnoDB將修改操作記錄到Redo Log Buffer中。
- 當(dāng)事務(wù)提交時(shí)，Redo Log Buffer中的日志會(huì)被同步到磁盤上的Redo Log文件（這個(gè)過程叫做 刷盤（fsync））。
- 在后臺(tái)，InnoDB會(huì)根據(jù)一定的時(shí)間間隔或Buffer Pool中的壓力，將修改的數(shù)據(jù)頁從內(nèi)存刷新到磁盤文件中（這稱為 Checkpoint 機(jī)制）。
- 如果數(shù)據(jù)庫崩潰或重啟，InnoDB會(huì)讀取Redo Log文件中的日志，并將其中未完成的事務(wù)操作重新應(yīng)用到數(shù)據(jù)庫中（重做（redo）），從而恢復(fù)數(shù)據(jù)。
Redo Log的性能調(diào)優(yōu)
- 日志文件大小 (innodb_log_file_size)：較大的日志文件可以減少Checkpoint的頻率，但會(huì)增加崩潰恢復(fù)的時(shí)間，因?yàn)槿罩疚募酱螅謴?fù)時(shí)需要重做的日志條目也越多。
- Redo Log Buffer大小 (innodb_log_buffer_size)：如果事務(wù)提交頻率高，可以適當(dāng)增加Redo Log Buffer的大小，以減少刷盤的頻率。
- 寫入頻率：通過innodb_flush_log_at_trx_commit參數(shù)控制事務(wù)提交時(shí)寫日志到磁盤的策略：
0：事務(wù)提交時(shí)不強(qiáng)制寫日志到磁盤，日志在后臺(tái)刷新。這種配置性能高但風(fēng)險(xiǎn)較大。
1：每次事務(wù)提交時(shí)，Redo Log會(huì)立即刷入磁盤。這是默認(rèn)的設(shè)置，確保了事務(wù)的強(qiáng)持久性。
2：事務(wù)提交時(shí)，日志寫入文件系統(tǒng)緩存中，而不是立即寫入磁盤，崩潰時(shí)可能丟失部分?jǐn)?shù)據(jù)。
2.5 bin log（mysql）
Binlog的定義
Binlog是MySQL的二進(jìn)制日志，記錄了所有更改數(shù)據(jù)庫數(shù)據(jù)的語句以及與其相關(guān)的事務(wù)。它與InnoDB存儲(chǔ)引擎的Redo Log不同，Redo Log是用于恢復(fù)崩潰后未完成的事務(wù)，而Binlog是記錄事務(wù)日志，用于備份、恢復(fù)和復(fù)制。
Binlog的作用
- 數(shù)據(jù)恢復(fù)：
Binlog可以用作增量備份工具。通過定期備份Binlog文件，MySQL管理員可以將數(shù)據(jù)庫恢復(fù)到某一時(shí)刻之前的狀態(tài)，然后通過應(yīng)用Binlog中的修改來恢復(fù)到崩潰前的最新狀態(tài)。與完整備份配合，能夠?qū)崿F(xiàn)更精細(xì)的恢復(fù)過程。
如果數(shù)據(jù)庫因某種原因崩潰，可以通過Point-in-Time Recovery（PITR，時(shí)間點(diǎn)恢復(fù)），將數(shù)據(jù)庫恢復(fù)到特定的時(shí)間點(diǎn)，或恢復(fù)到某個(gè)已知的穩(wěn)定狀態(tài)。
- 主從復(fù)制：
MySQL支持主從復(fù)制（Replication），其中主服務(wù)器上的數(shù)據(jù)更改會(huì)通過Binlog同步到從服務(wù)器。主服務(wù)器會(huì)將所有更改記錄到Binlog中，然后從服務(wù)器讀取并應(yīng)用這些日志，從而保持與主服務(wù)器的數(shù)據(jù)一致性。
這種機(jī)制使得可以創(chuàng)建冗余的從服務(wù)器來提高高可用性和讀性能，分擔(dān)查詢負(fù)載。
三 、總結(jié)
InnoDB的Buffer Pool是MySQL用于緩存數(shù)據(jù)和索引頁的內(nèi)存區(qū)域，減少磁盤I/O，提升讀寫性能。Undo Log記錄事務(wù)修改前的數(shù)據(jù)，用于回滾未提交的事務(wù)和實(shí)現(xiàn)MVCC。Redo Log則記錄已提交事務(wù)的修改操作，確保系統(tǒng)崩潰后能夠恢復(fù)事務(wù)，保證數(shù)據(jù)的持久性。Buffer Pool優(yōu)化了內(nèi)存使用，Undo Log維護(hù)事務(wù)一致性，Redo Log確保持久性與數(shù)據(jù)恢復(fù)，三者協(xié)同保障InnoDB的高效性與可靠性。
