經(jīng)歷了大概 4 個月的打磨，LotusDB 的第一個 release 版本終于發(fā)布了，我看了下，有 200 多次 commit(接近 rosedb 一年多的 commit 次數(shù)了)。

項目地址：https://github.com/flower-corp/lotusdb

有了 rosedb 在 bitcask 模型上的實踐之后，以及自己在存儲這方面的一些經(jīng)驗積累，去年底的時候，在上班路上突然想到的一個 idea，讓我有了做一個新的 kv 存儲引擎的想法。

有了想法之后便是驗證，因為其實心里還是沒譜，我又在 Github 上翻了翻，并沒有同類型的實現(xiàn)。后來又找一些大佬溝通了下，證明我的想法是可行的。

這期間還發(fā)現(xiàn)了 Usenix Fast 上的一篇關(guān)于優(yōu)化 LSM 的論文，發(fā)現(xiàn)論文的內(nèi)容跟我的 idea 非常類似，這算是又多了一個理論依據(jù)，于是便決定開干了。

眾所周知，數(shù)據(jù)存儲引擎，目前最主流的兩種模型是 B+ 樹和 LSM 樹，B+ 樹在關(guān)系型數(shù)據(jù)庫例如 Mysql 中應(yīng)用比較廣泛，而 LSM 的典型代表 rocksdb 也是大多數(shù)分布式系統(tǒng)數(shù)據(jù)落盤的首選。

B+ 樹讀性能穩(wěn)定，而 LSM 寫吞吐高，LotusDB 在這基礎(chǔ)上做了一個巨大的改動，就是完全舍棄掉 LSM 中的 SST 文件，改由 B+ 樹來存儲索引，而 value 存放則參考了 Wisckey 和 bitcask 模型的設(shè)計，存儲到單獨的 value log 文件中。

LotusDB 是對 LSM 和 B+ 樹的優(yōu)勢結(jié)合，目前并沒有同類型的實現(xiàn)，我們應(yīng)該是第一個吃螃蟹的人。

LotusDB 的架構(gòu)圖如下：

前臺的寫入和 LSM 完全一致，先寫 wal 再寫 memtable。

而讀取則會從 memtable 開始，如果 memtable 找到了，直接返回;沒找到的話則從 B+ 樹中查詢索引，然后根據(jù)索引信息到 value log 中獲取 value。

大家可以先了解個大概，后續(xù)我會出一個完整的《LotusDB 設(shè)計與實現(xiàn)》系列文章，全面解析 LotusDB 的架構(gòu)細(xì)節(jié)以及代碼實現(xiàn)，目前已經(jīng)寫了幾篇待發(fā)布，歡迎關(guān)注公眾號的后續(xù)更新：

再來看看 LotusDB 提供的一些基本接口，目前實現(xiàn)了基礎(chǔ)的 Put、Get、Delete 接口，并且支持 Column Family(借鑒于 rocksdb)，以及 value log 的自動 GC 回收。

簡單的使用方法如下：

package main

import (
  "github.com/flower-corp/lotusdb"
  "io/ioutil"
  "time"
)

// basic operations for LotusDB:
// put
// put with options
// get
// delete
// delete with options
func main() {
  path, _ := ioutil.TempDir("", "lotusdb")
  opts := lotusdb.DefaultOptions(path)
  db, err := lotusdb.Open(opts)
  if err != nil {
    panic(err)
  }
  defer db.Close()

  // 1.----put----
  key1 := []byte("name")
  err = db.Put(key1, []byte("lotusdb"))
  if err != nil {
    // ...
  }

  key2 := []byte("feature")
  // 2.----put with options----
  writeOpts := &lotusdb.WriteOptions{
    Sync: true,
    ExpiredAt: time.Now().Add(time.Second * 100).Unix(),
  }
  err = db.PutWithOptions(key2, []byte("store data"), writeOpts)
  if err != nil {
    // ...
  }

  // 3.----get----
  val, err := db.Get(key1)
  if err != nil {
    // ...
  }
  if len(val) > 0 {
    // ...
  }

  // 4.----delete----
  err = db.Delete(key1)
  if err != nil {
    // ...
  }

  // 5.----delete with options----
  deleteOpts := &lotusdb.WriteOptions{
    Sync: false,
    DisableWal: true,
  }
  err = db.DeleteWithOptions([]byte("dummy key"), deleteOpts)
  if err != nil {
    // ...
  }
}

目前自認(rèn)為 LotusDB 的代碼質(zhì)量比之前的 RoseDB 好多了，單元測試更加完備，注釋清晰，代碼也更加簡潔規(guī)范，如果你是 Go 新手，或者準(zhǔn)備學(xué)習(xí) Go，也能夠把項目當(dāng)做練習(xí)素材，自己對照著來學(xué)習(xí)。

當(dāng)然我們的愿景還是打造一個能夠在生產(chǎn)環(huán)境中實際落地的存儲引擎，目前的版本只是一個開始，后續(xù)還會有非常多的工作，包括但不限于：

• batch 操作，保證原子性
• 多個 Column Family 保證原子性
• 基于 SSI 的事務(wù)
• Iterator 迭代器
• 數(shù)據(jù)壓縮
• 數(shù)據(jù)備份
• index 的分裂