帶你讀 MySQL 源碼：Limit，Offset

作者：操盛春 2023-04-10 08:07:48

數(shù)據(jù)庫 MySQL

從 LimitOffsetIterator::Read() 的實現(xiàn)邏輯來看，offset 越大，讀取之后被丟棄的記錄就越多，讀取這些記錄所做的都是無用功。

我一直想寫 MySQL 源碼分析文章，希望能夠達成 2 個目標：

不想研究源碼的朋友，可以通過文章了解 MySQL 常用功能的實現(xiàn)邏輯，做到知其然，也知其所以然。
想研究源碼的朋友，能夠以文章為切入點，邁進 MySQL 源碼研究之門。

目標是明確的，任務(wù)是艱巨的。

MySQL 源碼數(shù)量龐大，各種功能的代碼盤根錯節(jié)，相互交織在一起，形成一張復(fù)雜的網(wǎng)。

想要把這張網(wǎng)中的某些部分拎出來寫成文章，還要做到通俗易懂，這并不是件容易的事，我也就遲遲沒有動手。

萬事開頭難，但是再難，總得開始，才能有后續(xù)，所以，就有了這篇文章。

寫文章是件費時費力的事，寫出來了總希望有更多人看，否則就沒有寫下去的動力了。

對 MySQL 源碼感興趣的朋友們，如果想看到源碼分析系列的更多文章，請幫忙把文章傳播出去，分享給更多人。

嘮叨完前因后果，再說說我準備怎么寫這個系列文章：

我會挑一些常用功能，每篇文章介紹一個單點功能的源碼，從簡單功能開始，逐漸過渡到復(fù)雜功能。
每篇文章只會介紹核心源碼邏輯，源碼之中增加注釋，源碼之外盡可能用文字展開介紹源碼邏輯，以幫助大家更好的理解源碼。
每篇文章不會太長，如果功能復(fù)雜導(dǎo)致內(nèi)容太長，我會拆分文章，盡量降低大家的閱讀負擔。

接下來，我們開始源碼分析系列的第 1 篇文章。

本文內(nèi)容基于 MySQL 8.0.32 源碼。

正文

1、準備工作

創(chuàng)建測試表：

CREATE TABLE `t1` (
  `id` int unsigned NOT NULL AUTO_INCREMENT,
  `str1` varchar(255) NOT NULL DEFAULT '',
  `i1` int NOT NULL DEFAULT '0',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;

插入測試數(shù)據(jù)：

INSERT INTO t1(id, str1, i1) VALUES
(1, 's1', 10),
(2, 's2', 20),
(3, 's3', 30),
(4, 's4', 40),
(5, 's5', 50),
(6, 's6', 60),
(7, 's7', 70),
(8, 's8', 80);

示例 SQL：

select * from t1 limit 5, 2

2、整體介紹

我們先通過 explain 來看一下執(zhí)行計劃：

從 explain 輸出可以看到，執(zhí)行計劃比較簡單，SQL 執(zhí)行過程包含 2 個迭代器：

Limit/Offset，對應(yīng) LimitOffsetIterator 迭代器。
Table scan，對應(yīng) TableScanIterator 迭代器。

代碼執(zhí)行時堆棧如下：

| > handle_connection(void*) sql/conn_handler/connection_handler_per_thread.cc:302
| + > do_command(THD*) sql/sql_parse.cc:1439
| + - > dispatch_command(...) sql/sql_parse.cc:2036
| + - x > dispatch_sql_command(THD*, Parser_state*) sql/sql_parse.cc:5322
| + - x = > mysql_execute_command(THD*, bool) sql/sql_parse.cc:4688
| + - x = | > Sql_cmd_dml::execute(THD*) sql/sql_select.cc:578
| + - x = | + > Sql_cmd_dml::execute_inner(THD*) sql/sql_select.cc:778
| + - x = | + - > Query_expression::execute(THD*) sql/sql_union.cc:1823
| + - x = | + - x > // 查詢?nèi)肟?br>| + - x = | + - x > Query_expression::ExecuteIteratorQuery(THD*) sql/sql_union.cc:1770
| + - x = | + - x = > // 實現(xiàn) limit, offset
| + - x = | + - x = > LimitOffsetIterator::Read() sql/iterators/composite_iterators.cc:128
| + - x = | + - x = | > // 從存儲引擎讀取一條記錄
| + - x = | + - x = | > TableScanIterator::Read() sql/iterators/basic_row_iterators.cc:218

3、源碼分析

TableScanIterator 迭代器用于從存儲引擎讀取記錄，留到以后的文章介紹。

limit, offset 由 LimitOffsetIterator 迭代器實現(xiàn)，我們會介紹兩個方法的代碼：

Query_expression::ExecuteIteratorQuery(THD*)，這是查詢?nèi)肟诜椒ǎ榻B了它，流程才算完整。
LimitOffsetIterator::Read()，limit, offset 的邏輯都在這個方法里實現(xiàn)。

（1）ExecuteIteratorQuery()

// sql/sql_union.cc
bool Query_expression::ExecuteIteratorQuery(THD *thd) {
  ...
  {
    ...
    for (;;) {
      // 從存儲引擎讀取一條記錄
      int error = m_root_iterator->Read();
      DBUG_EXECUTE_IF("bug13822652_1", thd->killed = THD::KILL_QUERY;);

      // 讀取出錯，直接返回
      if (error > 0 || thd->is_error())  // Fatal error
        return true;
      // error < 0
      // 表示已經(jīng)讀完了所有符合條件的記錄
      // 查詢結(jié)束
      else if (error < 0)
        break;
      // SQL 被客戶端干掉了
      else if (thd->killed)  // Aborted by user
      {
        thd->send_kill_message();
        return true;
      }
      ...
      // 發(fā)送數(shù)據(jù)給客戶端
      if (query_result->send_data(thd, *fields)) {
        return true;
      }
      ...
    }
  }
  ...
}

從以上代碼可以看到，select 查詢?nèi)肟诜椒ǖ闹黧w是一個無限 for 循環(huán)。

每一輪循環(huán)都會調(diào)用 m_root_iterator->Read() 方法從存儲引擎讀取一條記錄。

對于示例 SQL 來說，m_root_iterator->Read() 就是 LimitOffsetIterator::Read()。

for 循環(huán)會一直執(zhí)行，直到 m_root_iterator->Read() 的返回值命中以下任意一個條件才會結(jié)束：

if (error > 0 || thd->is_error())，讀取出錯了，以錯誤狀態(tài)結(jié)束查詢。
if (error < 0)，已經(jīng)讀完所有符合條件的記錄，以正常狀態(tài)結(jié)束查詢。
if (thd->killed)，SQL 被客戶端通過 kill <query_id> 干掉了，中止查詢。

<query_id> 為 show processlist 中的 Id 字段。

for 循環(huán)中，每次從存儲引擎讀取到一條記錄，都會調(diào)用 query_result->send_data(thd, *fields) 方法。

對于示例 SQL 來說，這個方法的行為就是把記錄發(fā)送給客戶端。

（2）LimitOffsetIterator::Read()

// sql/iterators/composite_iterators.cc
int LimitOffsetIterator::Read() {
  // 這個 if 括號里的條件理解起來會有點困難
  // 所以被省略了，眼不見為凈
  //【重點】只有讀取第一條和最后一條記錄時才會進入這個 if 分支
  if (...) {
    ...
    // m_needs_offset = true
    // 表示 SQL 語句中指定了 offset
    if (m_needs_offset) {
      ...
      // 循環(huán)從存儲引擎讀取 m_offset 條記錄
      // 每讀取到一條記錄，直接丟棄
      for (ha_rows row_idx = 0; row_idx < m_offset; ++row_idx) {
        // 讀取一條記錄之后
        // 如果沒有出錯，就接著讀取下一條記錄
        int err = m_source->Read();
        // 讀取出錯，直接返回錯誤碼
        if (err != 0) {
          return err;
        }
        ...
      }
      // 讀取 m_offset 條記錄并丟棄之后
      // 把 m_seen_rows 設(shè)置為已讀取記錄數(shù) 
      m_seen_rows = m_offset;
      // 然后把 m_needs_offset 設(shè)置為 false
      // 表示不需要再處理 offset 邏輯了（因為已處理完成）
      // 下次讀取時也就不需要再跳過 m_offset 條記錄了
      m_needs_offset = false;
      ...
    }
    // 如果已經(jīng)讀取了 m_limit 條記錄
    // 就返回 -1，表示讀取結(jié)束
    // m_limit = SQL 中的 limit + offset
    if (m_seen_rows >= m_limit) {
      ...
      return -1;
    }
  }

  // 讀取需要返回給客戶端的記錄
  const int result = m_source->Read();
  ...
  // 已讀取記錄數(shù)加 1
  ++m_seen_rows;
  // 返回當前讀取的記錄
  // 給 Query_expression::ExecuteIteratorQuery() 方法
  return result;
}

除了處理 offset 邏輯之外，LimitOffsetIterator::Read() 每次只讀取一條記錄，這個方法的核心邏輯分為三部分：

第 1 部分：if (m_needs_offset)，SQL 語句中指定了 offset，返回第一條記錄給客戶端之前，需要讀取 offset 條記錄并丟棄，從第 offset + 1 條記錄開始返回給客戶端。

這部分的主要邏輯是一個 for 循環(huán)，會循環(huán) offset 次，每次讀取一條記錄。

如果讀取成功，就接著讀取下一條記錄，而不會對這條記錄做任何操作，也就相當于丟棄了。

如果讀取失敗，直接返回錯誤碼，讀取結(jié)束，客戶端會收到報錯信息。

第 2 部分：if (m_seen_rows >= m_limit)，表示已經(jīng)讀取了 m_limit 條記錄，返回 -1 表示讀取正常結(jié)束。

m_limit = SQL 中的 limit + offset。

第 3 部分：result = m_source->Read() 從存儲引擎讀取一條記錄，然后，把結(jié)果返回給 Query_expression::ExecuteIteratorQuery() 方法。

4、總結(jié)

limit, offset 邏輯比較簡單，全部由 LimitOffsetIterator::Read() 實現(xiàn)，核心邏輯總結(jié)如下：

從存儲引擎讀取返回給客戶端的第 1 條記錄之前，會先讀取 offset 條記錄并丟棄，然后再讀取一條記錄，用于返回給客戶端。
從存儲引擎讀取第 2 ~ limit + offset 條記錄時，每讀取一條記錄，都返回給 Query_expression::ExecuteIteratorQuery()，由該方法把記錄返回給客戶端。
讀取 limit + offset 條記錄之后，返回 -1 表示讀取流程正常結(jié)束。

從 LimitOffsetIterator::Read() 的實現(xiàn)邏輯來看，offset 越大，讀取之后被丟棄的記錄就越多，讀取這些記錄所做的都是無用功。

為了提高 SQL 的執(zhí)行效率，可以通過改寫 SQL 讓 offset 盡可能小，理想狀態(tài)是 offset = 0。

本文轉(zhuǎn)載自微信公眾號「一樹一溪」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系一樹一溪公眾號。

責任編輯：姜華來源：一樹一溪