[[385027]]

作者個(gè)人研發(fā)的在高并發(fā)場(chǎng)景下，提供的簡(jiǎn)單、穩(wěn)定、可擴(kuò)展的延遲消息隊(duì)列框架，具有精準(zhǔn)的定時(shí)任務(wù)和延遲隊(duì)列處理功能。自開源半年多以來，已成功為十幾家中小型企業(yè)提供了精準(zhǔn)定時(shí)調(diào)度方案，經(jīng)受住了生產(chǎn)環(huán)境的考驗(yàn)。為使更多童鞋受益，現(xiàn)給出開源框架地址：https://github.com/sunshinelyz/mykit-delay

寫在前面

很多小伙伴工作很長(zhǎng)時(shí)間了，對(duì)于MySQL的掌握程度卻僅僅停留在表面的CRUD，對(duì)于MySQL深層次的原理和技術(shù)知識(shí)了解的少之又少，隨著工作年限的不斷增長(zhǎng)，職場(chǎng)競(jìng)爭(zhēng)力卻是不斷降低的。很多時(shí)候，出去面試時(shí)，被面試官吊打的現(xiàn)象成了家常便飯。比如，對(duì)于MySQL的高頻面試題有：

• 說說MySQL中MVCC機(jī)制的原理?
• MySQL的事務(wù)原理和實(shí)現(xiàn)?
• MySQL數(shù)據(jù)主從復(fù)制的原理?
• MySQL底層數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)?
• 如何使MySQL支持海量數(shù)據(jù)存儲(chǔ)?
• MySQL中的鎖機(jī)制原理和實(shí)現(xiàn)?
• MySQL索引機(jī)制?索引中涉及的數(shù)據(jù)結(jié)構(gòu)和算法?
• MySQL為何使用B+樹作為索引結(jié)構(gòu)?
• B+樹可以存放多少數(shù)據(jù)?
• 說說MySQL中間隙鎖的實(shí)現(xiàn)原理?
• InnoDB引擎為何會(huì)崩潰?說說其實(shí)現(xiàn)原理?
• 等等其他一系列高頻面試

如果一一列舉的話，大概能夠列舉上百個(gè)關(guān)于MySQL的高頻面試題，這些你都會(huì)嗎?

不僅僅是面試，如果你想從一名底層程序員上升為高級(jí)工程師，架構(gòu)師等，MySQL的底層原理和技術(shù)是你必須要掌握的。

注：冰河后續(xù)會(huì)不定時(shí)連載MySQL底層原理和技術(shù)的文章，與小伙伴們一起死磕MySQL，將冰河掌握的MySQL底層技術(shù)分享給大家，在面試時(shí)吊打面試官，在工作中吊打其他小伙伴。

文章已收錄到：

https://github.com/sunshinelyz/technology-binghe

https://gitee.com/binghe001/technology-binghe

MySQL體系架構(gòu)

我們先來看看MySQL的體系架構(gòu)圖，如下所示。

注：圖片來自互聯(lián)網(wǎng)

從MySQL的架構(gòu)圖，我們可以看出MySQL的架構(gòu)自頂向下大致可以分為網(wǎng)絡(luò)連接層、數(shù)據(jù)庫(kù)服務(wù)層、存儲(chǔ)引擎層和系統(tǒng)文件層四大部分。接下來，我們就來簡(jiǎn)單說說每個(gè)部分的組成信息。

網(wǎng)絡(luò)連接層

網(wǎng)絡(luò)連接層位于整個(gè)MySQL體系架構(gòu)的最上層，主要擔(dān)任客戶端連接器的角色。提供與MySQL服務(wù)器建立連接的能力，幾乎支持所有主流的服務(wù)端語言，例如：Java、C、C++、Python等，各語言都是通過各自的API接口與MySQL建立連接。

數(shù)據(jù)庫(kù)服務(wù)層

數(shù)據(jù)庫(kù)服務(wù)層是整個(gè)數(shù)據(jù)庫(kù)服務(wù)器的核心，主要包括了系統(tǒng)管理和控制工具、連接池、SQL接口、解析器、查詢優(yōu)化器和緩存等部分。

連接池

主要負(fù)責(zé)存儲(chǔ)和管理客戶端與數(shù)據(jù)庫(kù)的連接信息，連接池里的一個(gè)線程負(fù)責(zé)管理一個(gè)客戶端到數(shù)據(jù)庫(kù)的連接信息。

系統(tǒng)管理和控制工具

提供數(shù)據(jù)庫(kù)系統(tǒng)的管理和控制功能，例如對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行備份和恢復(fù)，保證整個(gè)數(shù)據(jù)庫(kù)的安全性，提供安全管理，對(duì)整個(gè)數(shù)據(jù)庫(kù)的集群進(jìn)行協(xié)調(diào)和管理等。

SQL接口

主要負(fù)責(zé)接收客戶端發(fā)送過來的各種SQL命令，并將SQL命令發(fā)送到其他部分，并接收其他部分返回的結(jié)果數(shù)據(jù)，將結(jié)果數(shù)據(jù)返回給客戶端。

解析樹

主要負(fù)責(zé)對(duì)請(qǐng)求的SQL解析成一棵“解析樹”，然后根據(jù)MySQL中的一些規(guī)則對(duì)“解析樹”做進(jìn)一步的語法驗(yàn)證，確認(rèn)其是否合法。

查詢優(yōu)化器

在MySQL中，如果“解析樹”通過了解析器的語法檢查，此時(shí)就會(huì)由優(yōu)化器將其轉(zhuǎn)化為執(zhí)行計(jì)劃，然后與存儲(chǔ)引擎進(jìn)行交互，通過存儲(chǔ)引擎與底層的數(shù)據(jù)文件進(jìn)行交互。

緩存

MySQL的緩存是由一系列的小緩存組成的。例如：MySQL的表緩存，記錄緩存，MySQL中的權(quán)限緩存，引擎緩存等。MySQL中的緩存能夠提高數(shù)據(jù)的查詢性能，如果查詢的結(jié)果能夠命中緩存，則MySQL會(huì)直接返回緩存中的結(jié)果信息。

存儲(chǔ)引擎層

MySQL中的存儲(chǔ)引擎層主要負(fù)責(zé)數(shù)據(jù)的寫入和讀取，與底層的文件進(jìn)行交互。值得一提的是，MySQL中的存儲(chǔ)引擎是插件式的，服務(wù)器中的查詢執(zhí)行引擎通過相關(guān)的接口與存儲(chǔ)引擎進(jìn)行通信，同時(shí)，接口屏蔽了不同存儲(chǔ)引擎之間的差異。MySQL中，最常用的存儲(chǔ)引擎就是InnoDB和MyISAM。

InnoDB和MyISAM存儲(chǔ)引擎需要小伙伴們重點(diǎn)掌握，高頻面試考點(diǎn)，也是成為架構(gòu)師必知必會(huì)的內(nèi)容。

系統(tǒng)文件層

系統(tǒng)文件層主要包括MySQL中存儲(chǔ)數(shù)據(jù)的底層文件，與上層的存儲(chǔ)引擎進(jìn)行交互，是文件的物理存儲(chǔ)層。其存儲(chǔ)的文件主要有：日志文件、數(shù)據(jù)文件、配置文件、MySQL的進(jìn)行pid文件和socket文件等。

日志文件

MySQL中的日志主要包括：錯(cuò)誤日志、通用查詢?nèi)罩尽⒍M(jìn)制日志、慢查詢?nèi)罩镜取?/p>

• 錯(cuò)誤日志

主要存儲(chǔ)的是MySQL運(yùn)行過程中產(chǎn)生的錯(cuò)誤信息。可以使用下面的SQL語句來查看MySQL中的錯(cuò)誤日志。

show variables like '%log_error%'; 

• 通用查詢?nèi)罩?/li>

主要記錄MySQL運(yùn)行過程中的一般查詢信息，可以使用下面的SQL語句來查看MySQL中的通用查詢?nèi)罩疚募?/p>

show variables like '%general%'; 

• 二進(jìn)制日志

主要記錄對(duì)MySQL數(shù)據(jù)庫(kù)執(zhí)行的插入、修改和刪除操作，并且也會(huì)記錄SQL語句執(zhí)行的時(shí)間、執(zhí)行的時(shí)長(zhǎng)，但是二進(jìn)制日志不記錄select、show等不修改數(shù)據(jù)庫(kù)的SQL。主要用于恢復(fù)數(shù)據(jù)庫(kù)的數(shù)據(jù)和實(shí)現(xiàn)MySQL主從復(fù)制。

• 查看二進(jìn)制日志是否開啟。

show variables like '%log_bin%'; 

• 查看二進(jìn)制日志的參數(shù)

show variables like '%binlog%' 

• 查看日志文件

show binary logs; 

• 慢查詢?nèi)罩?/li>

慢查詢主要記錄的是執(zhí)行時(shí)間超過指定時(shí)間的SQL語句，這個(gè)時(shí)間默認(rèn)是10秒。

查看是否開啟慢查詢?nèi)罩?/p>

show variables like '%slow_query%'; 

查看慢查詢?cè)O(shè)置的時(shí)長(zhǎng)

show variables like '%long_query_time%' 

數(shù)據(jù)文件

數(shù)據(jù)文件中主要包括了：db.opt文件、frm文件、MYD文件、MYI文件、ibd文件、ibdata文件、ibdata1文件、ib_logfile0和ib_logfile1文件等。

• db.opt文件

主要記錄當(dāng)前數(shù)據(jù)庫(kù)使用的字符集和檢驗(yàn)規(guī)則等信息。

• frm文件

存儲(chǔ)數(shù)據(jù)表的結(jié)構(gòu)信息，主要是數(shù)據(jù)表相關(guān)的元數(shù)據(jù)信息，包括數(shù)據(jù)表的表結(jié)構(gòu)定義信息，每張表都會(huì)有一個(gè)frm文件。

值得注意的是：MySQL8版本中的innodb存儲(chǔ)引擎的表沒有frm文件。(后面專門寫一些MySQL8新特性的文章，從使用到底層原理與MySQL5到底有何不同)。

• MYD文件

MyISAM存儲(chǔ)引擎專用的文件格式，主要存放MyISAM存儲(chǔ)引擎數(shù)據(jù)表中的數(shù)據(jù)，每張MyISAM存儲(chǔ)引擎表對(duì)應(yīng)一個(gè).MYD文件。

• MYI文件

MyISAM存儲(chǔ)引擎專用的文件格式，主要存放與MyISAM存儲(chǔ)引擎數(shù)據(jù)表相關(guān)的索引信息，每張MyISAM存儲(chǔ)引擎表對(duì)應(yīng)一個(gè).MYI文件。

• ibd文件

存放Innodb存儲(chǔ)引擎的數(shù)據(jù)文件和索引文件，主要存放的是獨(dú)享表空間的數(shù)據(jù)和索引，每張表對(duì)應(yīng)一個(gè).ibd文件。

• ibdata文件

存放Innodb存儲(chǔ)引擎的數(shù)據(jù)文件和索引文件，主要存放的是共享表空間的數(shù)據(jù)和索引，所有表共用一個(gè)(或者多個(gè)).ibdata文件，可以根據(jù)配置來指定共用的.ibdata文件個(gè)數(shù)。

• ibdata1文件

MySQL的系統(tǒng)表空間數(shù)據(jù)文件，主要存儲(chǔ)MySQL的數(shù)據(jù)表元數(shù)據(jù)、Undo日志等信息。

• ib_logfile0和ib_logfile1文件

MySQL數(shù)據(jù)庫(kù)中的Redo log文件，主要用于MySQL實(shí)現(xiàn)事務(wù)的持久性。如果在某個(gè)時(shí)間點(diǎn)MySQL發(fā)生了故障，此時(shí)如果有臟頁(yè)沒有寫入到數(shù)據(jù)庫(kù)的ibd文件中，在重啟MySQL的時(shí)候，MySQL會(huì)根據(jù)Redo Log信息進(jìn)行重做，將寫入Redo Log并且尚未寫入數(shù)據(jù)表的數(shù)據(jù)進(jìn)行持久化操作。

配置文件

用于存在MySQL所有的配置信息，在Unix/Linux環(huán)境中是my,cnf文件，在Windows環(huán)境中是my.ini文件。

pid文件

pid文件是存放MySQL進(jìn)程運(yùn)行時(shí)的進(jìn)程號(hào)的文件，主要存在于Unix/Linux環(huán)境中，具體的存儲(chǔ)目錄可以在my.cnf或者my.ini文件中進(jìn)行配置。

socket文件

socket文件和pid文件一樣，都是MySQL在Unix/Linux環(huán)境中運(yùn)行才會(huì)有的文件。在Unix/Linux環(huán)境中，客戶端可以直接通過socket來連接MySQL。

本文轉(zhuǎn)載自微信公眾號(hào)「冰河技術(shù)」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系冰河技術(shù)公眾號(hào)。