世界上最流行的數(shù)據(jù)庫(kù)，竟然是套殼的！

作者：胡譯胡說 2024-01-11 09:11:08

數(shù)據(jù)庫(kù) 其他數(shù)據(jù)庫(kù)

SQLite的源代碼使用Fossil來管理，而Fossil又依賴SQLite來存儲(chǔ)代碼倉(cāng)庫(kù)的信息，這就產(chǎn)生了一個(gè)在后人看來類似先有雞還是先有蛋的問題。

世界上最流行的數(shù)據(jù)庫(kù)是什么？

Oracle? MySQL? PostGreSQL?

都不是，答案是SQLite。

你可能沒聽說過它，但是它就在你身邊的：

每一臺(tái)智能手機(jī)中（Android 和iOS）

每一臺(tái)Mac電腦中

每一臺(tái)Windows 10 電腦中

每一個(gè)主要的瀏覽器中（Chrome, Firefox,Safari）

大部分的機(jī)頂盒當(dāng)中

每個(gè)PHP和Python安裝目錄中

很多流行的桌面應(yīng)用(微信、QQ、 DropBox、 Skype、iMessage、WhatsApp、 Adobe Acrobat Reader....)

......

不信的話可以在電腦中搜索一下 “*.db”，看看能發(fā)現(xiàn)多少個(gè)。

每個(gè)流行的軟件都是為了解決一個(gè)痛點(diǎn)問題，SQLite也不例外。

時(shí)光回到2000年，Richard Hipp為美國(guó)海軍的驅(qū)逐艦開發(fā)軟件，這個(gè)軟件要對(duì)船上所有的閥門進(jìn)行管理和操作。

當(dāng)時(shí)，美國(guó)海軍使用的是IBM的Informix數(shù)據(jù)庫(kù)，這個(gè)軟件需要通過網(wǎng)絡(luò)訪問它來讀取數(shù)據(jù)。

但是有時(shí)候Informix所在的服務(wù)器會(huì)掛掉，閥門管理軟件就會(huì)報(bào)錯(cuò)：不能連接到服務(wù)器！

更糟糕的是，他們對(duì)這個(gè)數(shù)據(jù)庫(kù)服務(wù)器沒有任何控制權(quán)，結(jié)果不出意外，誰彈的報(bào)錯(cuò)對(duì)話框，誰背鍋。

為了解決這個(gè)問題，Richard團(tuán)隊(duì)想了一招：將所有數(shù)據(jù)讀入內(nèi)存！

好在他們的程序不需要增、刪、改數(shù)據(jù)，只要將數(shù)據(jù)全部讀入內(nèi)存，就萬事大吉了。

此時(shí)，Richard腦中閃現(xiàn)出一個(gè)大膽的想法：既然如此，還要啥Informix呢？

直接從本地硬盤讀取數(shù)據(jù)就得了！這樣只要計(jì)算機(jī)能正常工作，程序就能正常運(yùn)行。

這其實(shí)就是嵌入式數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)和用戶程序位于同一臺(tái)機(jī)器的同一個(gè)進(jìn)程當(dāng)中。

圖片

不過當(dāng)時(shí)還沒有這樣的數(shù)據(jù)庫(kù)，這時(shí)，一位同事提醒Richard：“那你為什么不自己寫一個(gè)呢？”

當(dāng)時(shí)紐特·金里奇和比爾·克林頓正在“打架”，所有政府合同都暫停執(zhí)行，所以Richard失業(yè)了幾個(gè)月。

沒事兒可干的Richard決定把這個(gè)嵌入式數(shù)據(jù)庫(kù)給寫出來。

于是，SQLite誕生了！

SQLite第一版的提交歷史記錄

SQLite第一版其實(shí)也是個(gè)套殼數(shù)據(jù)庫(kù)

就像今天TiDB使用RocksDB作為其存儲(chǔ)引擎，SQLite的第一版也只不過是在GDBM——可謂是NoSQL的鼻祖——上套了個(gè)殼。SQLite第一版的README文件中這樣寫道：

SQLite: An SQL Database Built Upon GDBM

GDBM衍生自DBM，而DBM（DataBase Manager的縮寫）是來自Unix的鍵值數(shù)據(jù)庫(kù)（key-valuedatabase），支持通過主鍵快速訪問數(shù)據(jù)，最初由計(jì)算機(jī)界的大佬Ken Thompson編寫。

所以，我們可以把GDBM的數(shù)據(jù)庫(kù)看作是存儲(chǔ)在硬盤上的哈希表。

GDBM僅僅以代碼庫(kù)（library）的形式向用戶提供一系列API，并不支持SQL語句。

雖然是套殼數(shù)據(jù)庫(kù)，但這個(gè)殼套得可不簡(jiǎn)單。

上世紀(jì)90年代，編程語言界誕生了不少基于字節(jié)碼的語言，也因此出現(xiàn)了各種虛擬機(jī)。

例如，Java有JVM，PHP有Zend Engine，Python和Ruby也有自己的虛擬機(jī)。

擁有豐富編譯器經(jīng)驗(yàn)的Richard也如法炮制，他也搞了虛擬機(jī)，將SQL語句轉(zhuǎn)化為字節(jié)碼，在虛擬機(jī)上執(zhí)行。

下面我們就來梳理一下SQLite第一版的架構(gòu)，看看它是怎么套殼GDBM的。

SQLite第一版的架構(gòu)

SQLite采用了典型的分層架構(gòu)，一條SQL語句依次經(jīng)過

用戶接口（UI）層
詞法分析器（Tokenizer）層
語法解析器（Parser）層
字節(jié)碼生成器（Code Generator）層
虛擬機(jī)（虛擬數(shù)據(jù)庫(kù)引擎〔Virtual DataBase Engine〕）層
數(shù)據(jù)庫(kù)后端（DataBase BackEnd〔DBBE〕）層

最終到達(dá)GDBM數(shù)據(jù)庫(kù)層，變?yōu)閷?duì)GDBM數(shù)據(jù)庫(kù)的CRUD（通過調(diào)用GDBM提供的API）。

這些層在下圖中都用方框表示，方框內(nèi)寫有該層的名稱，名稱下方括號(hào)內(nèi)是實(shí)現(xiàn)層的源代碼文件。

SQLite第一版的架構(gòu)

以圖中的INSERT INTO語句為例，首先，UI層將用戶輸入的這條SQL語句傳遞給Tokenizer（詞法分析器）。

Tokenizer會(huì)將一條SQL語句分割為Token的序列（通過sqliteGetToken()函數(shù)），類似[INSERT,INTO, examp, VALUES, (, 'Hello, World!'...]。

接下來由Parser（語法分析器）根據(jù)語法規(guī)則（如圖中的cmd::= INSERT INTO...）解析來自Tokenizer的Token的序列，并調(diào)用與匹配的語法規(guī)則對(duì)應(yīng)的處理函數(shù)，這里是INSERT語句的語法規(guī)則對(duì)應(yīng)的處理函數(shù)sqliteInsert()。

值得一提的是，SQLite第一版中的詞法分析器和語法分析器（叫做Lemon）都是Richard自己編寫的，他從一開始就沒有采用lex和yacc等成熟的現(xiàn)成工具，這或許是源于他對(duì)自由的極度渴望。

文章最后我們會(huì)聊聊Richard在軟件世界中的生存態(tài)度，到時(shí)候就更能理解Richard為什么要重復(fù)造輪子了。

回到架構(gòu)圖中，在語法規(guī)則處理函數(shù)sqliteInsert()中（位于字節(jié)碼生成器〔Code Generator〕層），SQL語句被翻譯（通過sqliteVdbeAddOp()函數(shù)）成了如下圖左側(cè)黃色方框中的字節(jié)碼（OpCode）（我這里進(jìn)行了簡(jiǎn)化，實(shí)際的字節(jié)碼要比這里的復(fù)雜一些）。

可以看到，此時(shí)一條INSERT語句被分解成為若干簡(jiǎn)單的指令：

Open examp——打開名為examp的數(shù)據(jù)表；

Integer 99——添加一個(gè)整型的數(shù)據(jù)項(xiàng)，值為99；

Put——向數(shù)據(jù)表中寫入記錄……

SQLite第一版的架構(gòu)（續(xù)）

當(dāng)虛擬機(jī)（也叫VDBE，Virtual DataBaseEngine，虛擬數(shù)據(jù)庫(kù)引擎）接收到這一串指令后，就會(huì)根據(jù)指令的類型（是Open、是Put，還是……）調(diào)用對(duì)應(yīng)的函數(shù)。

如對(duì)于Put這個(gè)指令，就需要調(diào)用sqliteDbbePut()來處理。

現(xiàn)在處理流程終于進(jìn)入到了DBBE（DataBase BackEnd，數(shù)據(jù)庫(kù)后端）層，這里才是最貼近GDBM的那層殼。

既然Put指令（對(duì)應(yīng)sqliteDbbePut()函數(shù)）要插入記錄，那就調(diào)用gdbm_store()這個(gè)GDBM的API完成數(shù)據(jù)寫入。

至此，SQLite第一版就處理完了一條INSERT語句，向examp表中插入了一條新紀(jì)錄("Hello,World!", 99)。

從設(shè)計(jì)模式的角度看，DBBE層相當(dāng)于接口，而GDBM相當(dāng)于實(shí)現(xiàn)類；從MySQL架構(gòu)的角度看，DBBE層相當(dāng)于MySQLServer層，而GDBM相當(dāng)于MyISAM或InnoDB，是一種Pluggable Storage Engine。

也許Richard一開始就想到了不能在GDBM一棵樹上吊死，底層的存儲(chǔ)引擎應(yīng)該是可以替換的。

果然，到了2001年，Richard就決定干掉GDBM了。

他從書架上取出高德納（Donald Knuth）的巨著The Art ofComputer Programming（《計(jì)算機(jī)程序設(shè)計(jì)藝術(shù)》），用B樹替代掉了GDBM。

用B樹替代GDBM的提交記錄