Ceph ：一個 PB 規(guī)模的 Linux 分布式文件系統(tǒng)
Linux 持續(xù)進軍可伸縮計算領域，尤其是可擴展存儲領域。 Linux 文件系統(tǒng)最近新增了一個引人注目的選擇 —— Ceph，一個維持 POSIX 兼容的同時還集成了復制、容錯的分布式文件系統(tǒng)。探討 Ceph 的架構，可以知道它是如何提供容錯性，及如何簡化大量數(shù)據(jù)的管理的。
作為存儲行業(yè)的架構師，我對文件系統(tǒng)情有獨鐘。這些系統(tǒng)是存儲系統(tǒng)的用戶接口，盡管它們都傾向于提供相似的特性集，它們還是會提供引人注目的不同點。Ceph 也如此，它提供了一些你會在文件系統(tǒng)中找到的最有趣的特性。
Ceph 始于加州大學圣克魯茲分校的 Sage Weil 的博士學位課題。但從 2010 年 3 月下旬起，你可以 Linux 主流內核中找到 Ceph （從 2.6.34 內核起）。
盡管 Ceph 可能還未對生產環(huán)境做好準備，但它依然有助于評估目的。本文探討了 Ceph 文件系統(tǒng)，及其成為可擴展分布式存儲的誘人選擇的獨到之處。
Ceph 目標
開發(fā)文件系統(tǒng)是一種復雜的投入，但是如果能準確的解決問題的話，則擁有著不可估量的價值。Ceph 的目標可以簡單的定義為：
- 容易擴展到 PB 量級
不同負荷下的高性能 （每秒輸入輸出操作數(shù) [IPOS]、帶寬）
- 可靠性高
不幸的，這些目標彼此間矛盾（例如，可擴展性會減少或阻礙性能，或影響可靠性）。Ceph 開發(fā)了一些有趣的概念（例如動態(tài)元數(shù)據(jù)分區(qū)、數(shù)據(jù)分布、復制），本文會簡單探討。Ceph 的設計也集成了容錯特性來防止單點故障，并假定，大規(guī)模（PB 級的存貯）的存儲故障是一種常態(tài)，而非異常。最后，它的設計沒有假定特定的工作負荷，而是包含了可變的分布式工作負荷的適應能力，從而提供最佳的性能。它以 POSIX 兼容為目標完成這些工作，允許它透明的部署于那些依賴于 POSIX 語義的現(xiàn)存應用（通過 Ceph 增強功能）。最后，Ceph 是開源分布式存儲和 Linux 主流內核的一部分（2.6.34）。
Ceph 架構
現(xiàn)在，讓我們先在上層探討 Ceph 架構及其核心元素。之后深入到其它層次，來辨析 Ceph 的一些主要方面，從而進行更詳細的分析。
Ceph 生態(tài)系統(tǒng)可以大致劃分為四部分（見圖1）：客戶端（數(shù)據(jù)使用者）、元數(shù)據(jù)服務器（緩沖及同步分布的元數(shù)據(jù)）、對象存儲集群（以對象方式存儲數(shù)據(jù)與元數(shù)據(jù)，實現(xiàn)其它主要職責），及集群監(jiān)控（實現(xiàn)監(jiān)控功能）。
圖 1. Ceph 生態(tài)系統(tǒng)的概念架構
如圖一所示，客戶端通過元數(shù)據(jù)服務器來執(zhí)行元數(shù)據(jù)操作（以識別數(shù)據(jù)位置）。元數(shù)據(jù)服務器管理數(shù)據(jù)的位置及新數(shù)據(jù)的存儲位置。注意，元數(shù)據(jù)存儲在存儲集群中（如 "Metadata I/O" 所示）。真正的文件 I/O 發(fā)生在客戶端和對象存儲集群之間。以這種方式，較高級的 POSIX 功能（如 open、close、rename）由元數(shù)據(jù)服務器管理，與此同時，POSIX 功能（如 read、write）直接由對象存儲集群管理。
圖2 提供了架構的另一視角圖。一組服務器通過客戶端接口訪問 Ceph 生態(tài)系統(tǒng)，接口理解元數(shù)據(jù)服務器和對象級存儲的關系。這種分布式存儲系統(tǒng)可被看作為幾層，包括存儲設備的格式（擴展的和基于 B-樹 的對象文件系統(tǒng)[ebofs]，或者其它備選），為管理數(shù)據(jù)復制、故障檢測、恢復、后續(xù)數(shù)據(jù)遷移（稱之為可靠的自發(fā)分布式對象存儲，RADOS）等所設計的至關重要的管理層。最后，監(jiān)控用于鑒定組件故障，包括后續(xù)通知。
圖2. Ceph 生態(tài)系統(tǒng)的簡化分層視圖
Ceph 組件
了解了 Ceph 的概念構圖之后，你可以繼續(xù)深入了解 Ceph 生態(tài)系統(tǒng)內實現(xiàn)的主要組件。Ceph 和傳統(tǒng)文件系統(tǒng)一個關鍵的不同是，智能并非集中于文件系統(tǒng)本身，而是分布在生態(tài)系統(tǒng)各處。
圖 3 展示了一個簡單的 Ceph 生態(tài)系統(tǒng)。Ceph 客戶端是 Ceph 文件系統(tǒng)的使用者。Ceph 元數(shù)據(jù)后臺服務程序提供了元數(shù)據(jù)服務，而 Ceph 對象存儲后臺服務程序提供了實際的存儲（數(shù)據(jù)及元數(shù)據(jù)）。最后， Ceph 監(jiān)控提供了集群的管理。注意可以存在多個 Ceph 客戶端，多個對象存儲端點，許多元數(shù)據(jù)服務器（取決于文件系統(tǒng)的能力），和至少一對冗余監(jiān)控。這樣的話，這個文件系統(tǒng)是怎樣實現(xiàn)分布的呢？
圖 3. 簡單的 Ceph 生態(tài)系統(tǒng)
Ceph 客戶端
因為 Linux 為文件系統(tǒng)提供了一個通用接口（通過虛擬文件系統(tǒng)交換器 [VFS]），Ceph 的用戶視角是透明的。考慮到多個服務器組成存儲系統(tǒng)的可能性（詳見關于創(chuàng)建 Ceph 集群的 資源 一節(jié)），管理員視角當然會不同。從使用者的視角看，他們可以使用海量存儲系統(tǒng)，并不知曉下層的元數(shù)據(jù)服務器、監(jiān)控、聚合成大規(guī)模存儲池的各個對象存儲設備。使用者僅僅看到一個掛載點，從那里執(zhí)行標準的文件 I/O 操作。
Ceph 文件系統(tǒng) — 或者至少是客戶端接口 — 在 Linux 內核中實現(xiàn)。注意絕大多數(shù)文件系統(tǒng)，所有的控制和智能都實現(xiàn)在內核的文件系統(tǒng)源代碼本身中。但對 Ceph 而言，文件系統(tǒng)的智能分布在各節(jié)點上，它簡化了客戶端接口，但也同時提供給 Ceph 應對大規(guī)模（甚至動態(tài)的）數(shù)據(jù)的能力。
并非是依賴于分配鏈（用來映射磁盤塊到指定文件的元數(shù)據(jù)），Ceph 使用了一個有趣的選擇。一個文件從 Linux 的角度看，被賦予了一個來自元數(shù)據(jù)服務器的 inode 號（INO），它是文件的唯一識別符。之后這個文件被刻進到多個對象中（基于文件大?。?。使用 INO 和 對象號 （ONO），每個對象被賦予了一個對象 ID（OID）。通過使用 OID 上的一個簡單哈希，每個對象被分配到 一個放置組中。這個放置組（通過 PGID 來識別）是對象的概念上的容器。最后，放置組到對象存儲設備的映射是一種使用了稱為可擴展哈希受控復制（CRUSH）算法的偽隨機映射。以這種方式，放置組（及副本）映射到存儲設備不依賴于任何元數(shù)據(jù)，而是依賴于偽隨機映射函數(shù)。這種行為是理想的，因為它最小化了存儲的負荷，以及簡化了數(shù)據(jù)的分布和查詢。
最后一個分配組件是集群映射。集群映射是代表著存儲集群的設備的有效表示。通過 PGID 和 集群映射，你可以定位任何對象。
Ceph 元數(shù)據(jù)服務器
元數(shù)據(jù)服務器的任務 (命令) 是管理文件系統(tǒng)的命名空間。盡管不管是數(shù)據(jù)還是元數(shù)據(jù)都存儲在對象存儲集群中，它們都被分別管理，以支持可擴展性。事實上，元數(shù)據(jù)在元數(shù)據(jù)服務器的集群間進一步的分割，這些元數(shù)據(jù)服務器能夠自適應的復制和散布命名空間，從而避免熱點。如圖 4所示，元數(shù)據(jù)服務器管理部分命名空間，并能部分重疊（出于冗余及性能的考慮）。從元數(shù)據(jù)服務器到命名空間的映射，在 Ceph 中通過動態(tài)子樹分區(qū)的方式來執(zhí)行，它允許 Ceph 在保留本地性能的同時可以適應變化的工作負荷（在元數(shù)據(jù)服務器間遷移命名空間）。
圖 4. Ceph 元數(shù)據(jù)服務器命名空間的分區(qū)
但因為每個元數(shù)據(jù)服務器就客戶端的個數(shù)而言只簡單的管理命名空間，它主要的應用程序是智能元數(shù)據(jù)緩沖（因為實際的元數(shù)據(jù)最終存儲在對象存儲集群中）。寫入的元數(shù)據(jù)被緩沖在短期的日志中，它最終會被推送到物理存儲里。這種行為允許元數(shù)據(jù)服務器可以立即對客戶端提供最新的元數(shù)據(jù)服務（這在元數(shù)據(jù)操作中很常見）。日志對故障恢復也很有用：如果元數(shù)據(jù)服務器失效，它的日志能被重播，以確保元數(shù)據(jù)安全的保存到磁盤上。
元數(shù)據(jù)服務器管理 inode 空間，進行文件名到元數(shù)據(jù)的轉換。元數(shù)據(jù)服務器轉換文件名到 inode 節(jié)點，文件大小，以及分割 Ceph 客戶端用于文件 I/O 的數(shù)據(jù)（布局）。
Ceph 監(jiān)控
Ceph 包括了實現(xiàn)集群映射管理功能的監(jiān)控，但一些容錯管理的要素實現(xiàn)于對象存儲本身。當對象存儲設備失效，或者新的設備被添加，監(jiān)控檢測并維持一個有效的集群映射。這個功能以分布式的方式執(zhí)行，在這里，更新映射會與當前的流量狀況進行溝通。Ceph 使用了 Paxos，它是分布式一致性的一系列算法。
Ceph 對象存儲
與傳統(tǒng)對象存儲相似，Ceph 存儲節(jié)點不僅包含了存儲，也包含了智能。傳統(tǒng)的驅動器是的簡單目標端，僅僅響應發(fā)起端的命令。而對象存儲設備是智能設備，既可以作為目標端，也可以作為發(fā)起端，從而支持通訊以及其它對象存儲設備的協(xié)同。
其它有趣的特性
似乎是文件系統(tǒng)的動態(tài)自適應的天性不足，Ceph 也實現(xiàn)了一些對使用者可見的有趣特性。例如，用戶可以在 Ceph 的任何子目錄下（包括其全部內容），創(chuàng)建快照。也可以在任何子目錄級進行文件和容量記賬，它可以報告存儲大小和任何指定子目錄的文件數(shù)（及其所有的嵌套內容）。
Ceph 現(xiàn)狀與未來
盡管 Ceph 現(xiàn)在集成到 Linux 主流內核中，它被準確的描述為實驗性的。這種狀態(tài)的文件系統(tǒng)有助于評估，但還沒有為生產環(huán)境做好準備。但考慮到 Ceph 被 Linux 內核所采用，以及發(fā)起人持續(xù)開發(fā)的動力，它應該在不久后就可以用于解決你的大規(guī)模存儲的需要。
其它分布式文件系統(tǒng)
Ceph 在分布式文件系統(tǒng)領域并不是獨一無二的，但它在管理大規(guī)模存儲的生態(tài)系統(tǒng)的方式上是獨特的。其它的分布式文件系統(tǒng)，如包括 Google 文件系統(tǒng)（GFS），通用并行文件系統(tǒng)（GPFS），和 Lustre，僅舉幾例。隨著海量級別存儲的獨特挑戰(zhàn)的引入，Ceph 背后的理念看起來像是為分布式文件系統(tǒng)提供了一種有趣的未來。
展望
Ceph 不僅僅是文件系統(tǒng)，更是一個帶有企業(yè)級特性的對象存儲的生態(tài)系統(tǒng)。在 資源 一節(jié)中，你會發(fā)現(xiàn)關于如何建立一個簡單的 Ceph 集群（包括元數(shù)據(jù)服務器、對象服務器、監(jiān)控）的信息。Ceph 在分布式存儲方面填補了空白，看到這個開源軟件在未來如何演進也將是很有趣的。
