淺析Mongodb源碼之游標Cursor

作者：代震軍 2011-04-19 15:38:16

在Mongodb中，其提供了類似關系型數據中cursor對象來遍歷數據集合，同時mongodb并要根據不同的場景生成不同的游標對象（cursor）,比如順序遍歷游標（basicCursor）,反向游標（reverseCursor), B樹索引游標（btreeCursor）等。

在Mongodb中，其提供了類似關系型數據中cursor對象來遍歷數據集合，同時mongodb并要根據不同的場景生成不同的游標對象（cursor）,比如順序遍歷游標（basicCursor），反向游標（reverseCursor）， B樹索引游標（btreeCursor）等。

下面是其游標體系架構類圖(位于cursor.cpp, cursor.h, clientcursor.cpp, clientcursor.h）：

從該圖中，可以看到除了（ClientCursor）之外，其余游標均繼承自Cursor這個類（基類），下面我們看一下其具體實現：

class Cursor : boost::noncopyable//使類和派生類不可復制  
{  
   virtual bool ok() = 0;//游標當前指向的對象是否有效  
   bool eof() { return !ok(); }//是否已到尾部  
   virtual Record* _current() = 0;//游標當前指向的記錄（記錄是組成數據文件的最基本單位）  
   virtual BSONObj current() = 0;//游標當前指向的BSONObj對象  
   virtual DiskLoc currLoc() = 0;//游標當前指向的DiskLoc  
   virtual bool advance() = 0; /*true=ok,將游標指向到下一條記錄所在位置*/ 
   virtual BSONObj currKey() const { return BSONObj(); }  
     
  /* 標識游標是否為Tailable類型,該類型支持獲取最后一條記錄后,不馬上關閉游標,以便持續獲取后面新添加的記錄*/ 
   virtual bool tailable()   
   {  
      return false;  
   }  
   //設置游標為Tailable類型  
   virtual void setTailable() {}  
   .....  
}

在mongodb中，提供了兩種遍歷數據集合的方向，分別是“向前”和“倒轉”方式，其聲明如下：

class AdvanceStrategy   
{  
   public:  
      virtual ~AdvanceStrategy() { }  
      virtual DiskLoc next( const DiskLoc &prev ) const = 0;  
};  
 
const AdvanceStrategy *forward(); //向前  
const AdvanceStrategy *reverse(); //倒轉

下面是其實現方式如下：

class Forward : public AdvanceStrategy {  
   virtual DiskLoc next( const DiskLoc &prev ) const {  
   return prev.rec()->getNext( prev );  
   }  
} _forward;  
 
class Reverse : public AdvanceStrategy {  
   virtual DiskLoc next( const DiskLoc &prev ) const {  
   return prev.rec()->getPrev( prev );  
   }  
} _reverse;  
 
const AdvanceStrategy *forward() {  
   return &_forward;  
}  
const AdvanceStrategy *reverse() {  
   return &_reverse;  
}

看到這里，我們有必須簡要說明一下mongofile文件的結構，見下面說明：

/*  a datafile - i.e. the "dbname.<#>" files :  
 
----------------------  
DataFileHeader  :數據頭文件信息，包括版本，文件長度，使用情況等  
----------------------  
Extent (for a particular namespace) 特定namespace下的extent，可理解為數據集合  
  Record ： 單條數據記錄  
  ...  
  Record (some chained for unused space)  
----------------------  
more Extents... 其它extent  
----------------------  
*/

在一個數據庫文件中，同一個namespace的extent可以有多個，每一個extent都有一些記錄(record)組成，如果訪問record，可以使用diskloc加上文件偏移（getOfs：位于diskloc中）獲取。
同時每個extent中包括還包括兩個重要屬性：

DiskLoc xnext, xprev; /* next/prev extent for this namespace */

它們分別記錄了同一namespace下，在extent鏈表中，當前extent的前或后一個extent的位置信息，上面AdvanceStrategy中的next方法即實現了在兩種遍歷方向（上面已提到）上，在extent鏈接中跳轉的方式，比如在forward方向：

inline DiskLoc Record::getNext(const DiskLoc& myLoc) {  
   //如果當前 Record的nextOfs偏移不為空，表示在當前extent中還有后續記錄可訪問  
   if ( nextOfs != DiskLoc::NullOfs ) {  
      /* defensive */ 
      if ( nextOfs >= 0 && nextOfs < 10 ) {//是否為已刪除的記錄  
         sayDbContext("Assertion failure - Record::getNext() referencing a deleted record?");  
         return DiskLoc();  
      }  
   return DiskLoc(myLoc.a(), nextOfs);//獲取下一條記錄  
   }  
   Extent *e = myExtent(myLoc);//獲取當前記錄所屬的Extent  
   while ( 1 ) {  
      if ( e->xnext.isNull() )  
         return DiskLoc(); //已到表尾.  
      e = e->xnext.ext();//跳轉到下一個extent（以便進行next遍歷）  
      if ( !e->firstRecord.isNull() )  
      break;  
      // entire extent could be empty, keep looking  
   }  
   return e->firstRecord;//獲取下一個extent中的第一條記錄  
}

在每個extent對象中，其還包括另外兩個屬性 firstRecord，lastRecord，兩者皆為DiskLoc類型，顧名思義，它們分別指向當前extent的第一條和最后一條記錄所在位置，這種定義它們是為了后者在extent中進行跳轉時使用，當前如果在更加復雜的capped collection情況下，其值在會刪除記錄等操作時不斷更新，比如下面代碼：

//namespace.cpp 文件912行，該方法在刪除記錄時調用  
void DataFileMgr::_deleteRecord(NamespaceDetails *d, const char *ns, Record *todelete, const DiskLoc& dl)   
{  
   ......  
   //extents是一個數據文件區域，該區域有所有記錄（records）均屬于同一個名空間namespace  
   /* remove ourself from extent pointers */ 
   {  
      Extent *e = getDur().writing( todelete->myExtent(dl) );  
      if ( e->firstRecord == dl )   
      {//如果要刪除記錄為該extents區域第一條記錄時  
         if ( todelete->nextOfs == DiskLoc::NullOfs )//且為唯一記錄時  
            e->firstRecord.Null();//則該空間第一元素為空  
         else //將當前空間第一條（有效）記錄后移一位  
            e->firstRecord.set(dl.a(), todelete->nextOfs);  
      }  
      if ( e->lastRecord == dl )   
      {//如果要刪除記錄為該extents區域最后一條記錄時  
         if ( todelete->prevOfs == DiskLoc::NullOfs )//如果要刪除記錄的前一條信息位置為空時  
            e->lastRecord.Null();//該空間最后一條記錄清空  
         else //設置該空間最后一條（有效）記錄位置前移一位  
            e->lastRecord.set(dl.a(), todelete->prevOfs);  
      }  
   }  
   ......  
}

介紹了cursor基類的定義和遍歷方向這兩個基本概念后，下面介紹一下在mongodb中，廣泛使用的是basicCursor,其定義如下：

class BasicCursor : public Cursor   
{  
   public:  
      BasicCursor(DiskLoc dl, const AdvanceStrategy *_s = forward()) : curr(dl), s( _s ), _nscanned()   
      {  
         incNscanned();  
         init();  
      }  
      BasicCursor(const AdvanceStrategy *_s = forward()) : s( _s ), _nscanned()   
      {  
         init();  
      }  
      bool ok() { return !curr.isNull(); }  
      Record* _current()   
      {  
         assert( ok() );  
         return curr.rec();  
      }  
      BSONObj current()   
      {  
         Record *r = _current();  
         BSONObj j(r);  
         return j;  
      }  
      virtual DiskLoc currLoc() { return curr; }  
      virtual DiskLoc refLoc()  { return curr.isNull() ? last : curr; }  
      bool advance();  
      virtual string toString() { return "BasicCursor"; }  
      virtual void setTailable()   
      {  
         if ( !curr.isNull() || !last.isNull() )  
         tailable_ = true;  
      }  
      virtual bool tailable() { return tailable_; }  
  ......  
};

可認看到在其構造函數時，使用了forward方向的遍歷方式, 即然定義了Forward方向的游標，mongodb接下來定義了Reverse方向的游標：

/* 用于排序 { $natural: -1 } */ 
class ReverseCursor : public BasicCursor   
{  
   public:  
      ReverseCursor(DiskLoc dl) : BasicCursor( dl, reverse() ) { }  
      ReverseCursor() : BasicCursor( reverse() ) { }  
      virtual string toString() { return "ReverseCursor"; }  
};

另外為了支持capped collection集合類型（有關capped collection，參見這篇鏈接），mongodb分別定義了ForwardCappedCursor和ReverseCappedCursor：

class ForwardCappedCursor : public BasicCursor, public AdvanceStrategy   
{  
   public:  
 
      ForwardCappedCursor( NamespaceDetails *nsd = 0, const DiskLoc &startLoc = DiskLoc() );  
      virtual string toString() {  
         return "ForwardCappedCursor";  
      }  
      virtual DiskLoc next( const DiskLoc &prev ) const;  
      virtual bool capped() const { return true; }  
   private:  
      NamespaceDetails *nsd;  
};

class ReverseCappedCursor : public BasicCursor, public AdvanceStrategy   
{  
   public:  
      ReverseCappedCursor( NamespaceDetails *nsd = 0, const DiskLoc &startLoc = DiskLoc() );  
      virtual string toString() {  
         return "ReverseCappedCursor";  
      }  
      virtual DiskLoc next( const DiskLoc &prev ) const;  
      virtual bool capped() const { return true; }  
   private:  
      NamespaceDetails *nsd;  
};

只不過在ForwardCappedCursor和ReverseCappedCursor中，實現next方法會更復雜一下，因為其要考慮刪除的記錄不在遍歷結果中的情況。相當內容詳見cursor.cpp的實現代碼:)

介紹游標和mongofile結構之后，我們大體知道了mongodb如果遍歷數據文件，另外mongodb使用了b樹索引來加快查詢效率，因此mongodb也提供了相應的btreeCursor，其主要用于遍歷內存中的b樹索引。

除此以外，為了方便client端使用cursor訪問數據庫，mongodb提供了ClientCursor，其對Cursor進一步封裝（詳見clientcursor.h）。

下面我們看一下mongodb如果要據查詢方式來確定使用那種類型游標的：

 //pdfile.cpp 文件639行，查詢從指定記錄位置startLoc開始的記錄，這里要據不同的條件使用不同的注季  
shared_ptr<Cursor> DataFileMgr::findAll(const char *ns, const DiskLoc &startLoc)   
{  
   NamespaceDetails * d = nsdetails( ns );  
   if ( ! d )  
      return shared_ptr<Cursor>(new BasicCursor(DiskLoc()));  
 
   DiskLoc loc = d->firstExtent;  
   Extent *e = getExtent(loc);  
 
   ......  
 
   if ( d->capped )  
      return shared_ptr<Cursor>( new ForwardCappedCursor( d , startLoc ) );  
 
   if ( !startLoc.isNull() )  
      return shared_ptr<Cursor>(new BasicCursor( startLoc ));  
 
   ......  
   return shared_ptr<Cursor>(new BasicCursor( e->firstRecord ));  
}

到這里，可以看了，mongodb在cursor的設計和使用方式上是基于“策略模式”（strategy pattern）的，如下圖:

其中cursor就是各種遍歷數據集合的策略，而pdfile.cpp就是持有相應cursor的上下文(context) ，該模式也是使用比較廣泛的一種設置模式，好處這里就不多說了。

好了，今天的內容到這里就告一段落了，在接下來的文章中，將會介紹mongodb中mmap的使用場景。

原文鏈接:http://www.cnblogs.com/daizhj/archive/2011/04/15/mongodb_cursor_source_code.html

【編輯推薦】

走進MongoDB的世界展開MongoDB的學習之旅
野心勃勃的NoSQL新貴 MongoDB應用實戰
MongoDB與CouchDB全方位對比
MongoDB1.8發布，分布式文檔數據庫

責任編輯：艾婧來源：博客園

Mongodb Cursor