SPDK，軟件定義存儲(chǔ)的催化劑
原創(chuàng)去年第四季度開始，XSKY團(tuán)隊(duì)[3]開始研究英特爾向社區(qū)開源的SPDK。福叔在學(xué)習(xí)之中發(fā)現(xiàn)，就像軟件定義網(wǎng)絡(luò)(SDN)和網(wǎng)絡(luò)功能虛擬化(NFV)中的性能利器DPDK，SPDK也極有機(jī)會(huì)給SDS領(lǐng)域帶來革命性的影響。如果朋友們不知道DPDK是干什么的，沒有關(guān)系，我將在以后抽時(shí)間給大家分享下DPDK的學(xué)習(xí)心得，以及我們把它用在存儲(chǔ)領(lǐng)域的一些想法，今天先看看SPDK。(這篇文章的圖和大部分內(nèi)容來自英特爾官方網(wǎng)站公開的技術(shù)資料[1][2]，加上自己的理解，原英文部分內(nèi)容的著作權(quán)歸英特爾公司所有……)
技術(shù)背景
固態(tài)硬盤正在迅速擴(kuò)展它在數(shù)據(jù)中心中的份額，相較于傳統(tǒng)存儲(chǔ)介質(zhì)，新的閃存介質(zhì)具有性能，耗電，機(jī)架空間等等方面的優(yōu)勢(shì)。隨著更新的閃存介質(zhì)投入市場(chǎng)(如3D NAND)，這些優(yōu)勢(shì)還在不斷擴(kuò)大。
用戶在集成新一代的NVMe設(shè)備，如英特爾®P3700這樣的“性能怪獸”時(shí)，會(huì)碰到很大的挑戰(zhàn)。因?yàn)镹VMe硬盤的吞吐量和時(shí)延表現(xiàn)太好了(2GB/s左右的讀寫帶寬，45萬的每秒隨機(jī)讀和17萬的每秒隨機(jī)寫，20μm級(jí)別的時(shí)延)——就IOPS而言，比傳統(tǒng)SAS或SATA溫氏磁盤快上千倍，也比之前的SATA SSD快5~10倍。一般存儲(chǔ)軟件的表現(xiàn)，相對(duì)于NVMe來說，在整個(gè)IO事務(wù)中消耗的時(shí)間百分比就顯得太多了。換言之，存儲(chǔ)軟件協(xié)議棧的性能和效率在存儲(chǔ)整體系統(tǒng)中的地位就顯得越來越關(guān)鍵了。舉個(gè)類似的例子，我們從北京乘飛機(jī)到美國(guó)三藩，按照現(xiàn)在的飛行速度，在天上需要13個(gè)小時(shí)。這種情況下，你安檢的時(shí)間，過海關(guān)的時(shí)間，候機(jī)的時(shí)間，加起來3個(gè)小時(shí)，相對(duì)于總共的13+3=16個(gè)小時(shí)也不算長(zhǎng)。設(shè)想現(xiàn)在飛機(jī)的飛行速度提高了100倍，從首都機(jī)場(chǎng)T3起飛后，不到10分鐘的飛行時(shí)間，就可在加州落地，這時(shí)3個(gè)小時(shí)的地面手續(xù)就顯得很沒有效率了。存儲(chǔ)系統(tǒng)中軟硬件的協(xié)作關(guān)系，以及網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)等其他計(jì)算機(jī)領(lǐng)域都有類似的情況或命題。我們可以把NVMe看做一個(gè)硬件進(jìn)步推動(dòng)軟件革新需求的例子，隨著后續(xù)比它更快的存儲(chǔ)介質(zhì)投入市場(chǎng)，這種推動(dòng)力將更為急迫。
為幫助存儲(chǔ)OEM和軟件定義存儲(chǔ)開發(fā)商充分利用好新的硬件，英特爾開發(fā)了SPDK(Storage Performance Development Kit)，包含一套驅(qū)動(dòng)程序，以及一整套端到端的存儲(chǔ)參考架構(gòu)。SPDK的目標(biāo)是能夠把硬件平臺(tái)的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)的最新性能進(jìn)展充分發(fā)揮出來。自芯片而上進(jìn)行設(shè)計(jì)優(yōu)化，SPDK已展示出超高的性能指標(biāo)。在僅僅幾個(gè)CPU核參與下，配上一定數(shù)量的NVMe硬盤，并沒使用任何附加的offload硬件(如FPGA)，使用SPDK的存儲(chǔ)系統(tǒng)能輕松達(dá)到數(shù)百萬IOPS。英特爾計(jì)劃將基于Linux的整個(gè)SPDK參考架構(gòu)源代碼免費(fèi)提供，其中，用戶空間的NVMe驅(qū)動(dòng)源代碼部分已經(jīng)通過01.org[2]向社區(qū)開放，SPDK中的其他部分組件也將在2016年逐步開源。
軟件架構(gòu)概覽
SPDK是如何工作的?它超高的性能實(shí)際上來自于兩項(xiàng)核心技術(shù)：第一個(gè)是用戶態(tài)運(yùn)行，第二個(gè)是輪詢模式驅(qū)動(dòng)。下面，讓我們分析一下各自細(xì)節(jié)。
首先，將設(shè)備驅(qū)動(dòng)代碼運(yùn)行在用戶態(tài)，是和運(yùn)行在“內(nèi)核態(tài)”相對(duì)而言的。把設(shè)備驅(qū)動(dòng)移出內(nèi)核空間避免了內(nèi)核上下文切換與中斷處理，從而節(jié)省了大量的CPU負(fù)擔(dān)，允許更多的指令周期用在實(shí)際處理數(shù)據(jù)存儲(chǔ)的工作上。無論存儲(chǔ)算法復(fù)雜還是簡(jiǎn)單，也無論進(jìn)行去重(deduplication)，加密(encryption)，壓縮(compression)，還是簡(jiǎn)單的塊讀寫，更少的指令周期浪費(fèi)意味著更好的整體性能。
其次，傳統(tǒng)的中斷式IO處理模式，采用的是被動(dòng)的派發(fā)式工作，有IO需要處理時(shí)就請(qǐng)求一個(gè)中斷，CPU收到中斷后才進(jìn)行資源調(diào)度來處理IO。舉一個(gè)出租車的例子做類比，傳統(tǒng)磁盤設(shè)備的IO任務(wù)就像出租車乘客，CPU資源被調(diào)度用來處理IO中斷就像出租車。當(dāng)磁盤速度遠(yuǎn)慢于CPU時(shí)，CPU中斷處理資源充沛，中斷機(jī)制是能對(duì)這些IO任務(wù)應(yīng)對(duì)自如的。這就好比是非高峰時(shí)段，出租車供大于求，路上總是有空車在掃馬路，乘客隨時(shí)都能叫到車。然而，在高峰時(shí)段，比如周五傍晚在鬧市區(qū)叫車(不用滴滴或者專車)，常常是看到一輛車溜溜的近前來，而后卻發(fā)現(xiàn)后座已經(jīng)有乘客了。需要等待多久，往往是不可預(yù)知的。相信你一定見過在路邊滯留，招手?jǐn)r車的人群。同樣，當(dāng)硬盤速度上千倍的提高后，將隨之產(chǎn)生大量IO中斷，Linux內(nèi)核的中斷驅(qū)動(dòng)式IO處理(Interrupt Driven IO Process)就顯得效率不高了。
操作系統(tǒng)的世界里，除了中斷式IO處理的方式(即上面提到的被動(dòng)的派發(fā)式工作)，還有一種IO處理方式叫做定點(diǎn)輪詢(polling)。還是用出租車的例子，試想在機(jī)場(chǎng)外出租車排隊(duì)接客是怎么工作的——有一個(gè)或者多個(gè)專門的出租車道，排著一隊(duì)隊(duì)等候的出租車，當(dāng)乘客從航站樓中一涌而出時(shí)，一輛輛出租車能夠用少于十來秒的時(shí)間高效的接走一位乘客，后面的車緊接著跟上處理下一位客人。
PMD就是按照類似的機(jī)制工作的，SPDK中其他所有的組件也是按照這個(gè)理念設(shè)計(jì)的。專門的計(jì)算資源(特定的CPU核)用來主導(dǎo)存儲(chǔ)設(shè)備的輪詢式處理——就像專門的出租車道和車流用來處理乘客任務(wù)，數(shù)據(jù)包和塊得到迅速派發(fā)，等待時(shí)間最小化，從而達(dá)到低延時(shí)、更一致的延時(shí)(抖動(dòng)變少)、更好的吞吐量的效果。
那么，輪詢模式驅(qū)動(dòng)是否在所有的情況下都是最高效的處理IO的方式呢?答案是“也不盡然”。設(shè)想一下，如果航站樓里沒有什么旅客出來，乘車的人稀稀拉拉的時(shí)候，我們可以看到出租車候車區(qū)等候派工的車輛長(zhǎng)龍，這些等待的車子完全可以到市區(qū)去掃活兒，做些更有意義的事情。同樣的道理，對(duì)于低速的SATA HDD，PMD的處理機(jī)制不但給IO性能帶來的提升不明顯，反而浪費(fèi)了CPU資源。
這就是為什么我們?cè)趯W(xué)習(xí)計(jì)算機(jī)課程時(shí)，老師會(huì)講所謂“中斷驅(qū)動(dòng)IO處理”是比其他大部分IO處理機(jī)制更好的調(diào)度方式。因?yàn)樵谀莻€(gè)年代，CPU的速度遠(yuǎn)大于磁盤等存儲(chǔ)設(shè)備，CPU也沒有很多核或線程交給操作系統(tǒng)用來做更特殊的事情。無論如何，是終端驅(qū)動(dòng)處理還是輪詢驅(qū)動(dòng)處理，取決于系統(tǒng)硬件的搭配方式，不同的條件會(huì)匹配不同的優(yōu)化策略。
SPDK中包含了多個(gè)子組件，通過用戶態(tài)處理機(jī)制和輪詢驅(qū)動(dòng)模式相互聯(lián)系。每個(gè)子組件都是為了解決整個(gè)存儲(chǔ)系統(tǒng)中的某一部分瓶頸問題而存在的。當(dāng)然，用戶可以選擇只將這些子組件單獨(dú)拆出來，用到非SPDK的框架中，去優(yōu)化他們自己的存儲(chǔ)處理堆棧。舉例來說，SPDK中有個(gè)組件叫用戶態(tài)網(wǎng)絡(luò)服務(wù)(UNS，UserSpace Network Services)庫(kù)，這是一個(gè)Linux內(nèi)核TCP/IP協(xié)議棧的替代品，能夠突破通用TCP/IP協(xié)議棧的種種性能限制瓶頸。通過使用用戶態(tài)的，輪詢方式的TCP/IP協(xié)議棧，SPDK能夠在更少的CPU指令周期條件下處理TCP/IP數(shù)據(jù)包排序和計(jì)算，達(dá)到極高的IOPS性能。
SPDK中大概有三類子組件：網(wǎng)絡(luò)前端、處理框架、后端。
網(wǎng)絡(luò)前端子組件包括DPDK網(wǎng)卡驅(qū)動(dòng)和上面提到的用戶態(tài)網(wǎng)絡(luò)服務(wù)(UNS)。DPDK在網(wǎng)卡側(cè)提供了一個(gè)高性能的發(fā)包收包處理框架，在數(shù)據(jù)從網(wǎng)卡到操作系統(tǒng)用戶態(tài)之間提供了一條快速通道。UNS代碼則接續(xù)這一部分處理，“crack”了TCP/IP數(shù)據(jù)包的標(biāo)準(zhǔn)處理方式，并形成iSCSI命令。
從這個(gè)環(huán)節(jié)開始，“處理框架”部分拿到了數(shù)據(jù)包內(nèi)容，將iSCSI命令轉(zhuǎn)換為SCSI塊級(jí)命令。然而，在它將這些命令發(fā)到“后端”驅(qū)動(dòng)之前，SPDK提供了一套API框架，讓廠商能夠插入自己定義的處理邏輯(架構(gòu)圖中綠色的方框)。通過這種機(jī)制，存儲(chǔ)廠商可在這里實(shí)現(xiàn)例如緩存、去重、壓縮、加密、RAID計(jì)算，或擦除碼(Erasure Coding)計(jì)算等功能，使這些功能包含在SPDK的處理流程中。在SPDK的開源軟件包里，會(huì)有這些功能的實(shí)現(xiàn)樣例——雖然不建議用戶直接在為生產(chǎn)環(huán)境準(zhǔn)備的產(chǎn)品代碼里照搬。
最后，數(shù)據(jù)到達(dá)了“后端”驅(qū)動(dòng)層，在這里SPDK和物理塊設(shè)備交互(讀和寫操作)。如前所述，SPDK提供了用戶態(tài)的PMD，支持NVMe設(shè)備、Linux AIO設(shè)備(傳統(tǒng)spinning硬盤)、RAMDISK設(shè)備，以及利用到英特爾I/O加速技術(shù)的新設(shè)備(CBDMA=3D XPoint?)。這一系列后端設(shè)備驅(qū)動(dòng)涵蓋了不同性能的存儲(chǔ)分層，保證SPDK幾乎與每種存儲(chǔ)應(yīng)用形成關(guān)聯(lián)。事實(shí)上，英特爾在2015年9月首先開源的SPDK部分就主要包含支持NVMe的用戶態(tài)輪詢模式驅(qū)動(dòng)。
當(dāng)然，SPDK并不適用于所有的存儲(chǔ)架構(gòu)，這里是官方給出的一些Q&A，幫助存儲(chǔ)開發(fā)人員迅速找到這項(xiàng)技術(shù)的定位：
Q：SPDK包是基于Linux的嗎?
A：SPDK僅僅在Linux平臺(tái)上得到測(cè)試和支持。
Q：SPDK的IO路徑是運(yùn)行在用戶態(tài)嗎?
A：SPDK能將IO路徑從網(wǎng)卡到硬盤排他化的運(yùn)行在用戶態(tài)，提高整體性能和效率。
Q：SPDK的系統(tǒng)架構(gòu)中的線程模型包含無鎖化的PMD嗎?
A：事實(shí)上，PMD連續(xù)的在它所占用的物理線程上運(yùn)行(在沒有IO時(shí)并不休眠或放棄處理器資源)，因此PMD有自己的線程模型，可以認(rèn)為是無鎖的。
Q：SPDK中使用了與DPDK相似的機(jī)制處理網(wǎng)絡(luò)數(shù)據(jù)包流量嗎?
A：SPDK包含了對(duì)DPDK的支持框架，因此熟悉DPDK的開發(fā)人員能發(fā)現(xiàn)SPDK很容易集成。
Q：SPDK的源代碼使用什么開源許可，是否禁止代碼再分發(fā)?
A：SPDK的一部分源代碼是BSD許可的，例如NVMe和CBDMA用戶態(tài)驅(qū)動(dòng)。其他部分以Intel License許可開源(UNS和用戶態(tài)iSCSI Target)。但這樣的安排也許在將來會(huì)改變。無論如何，SPDK的所有源代碼都將向社區(qū)免費(fèi)提供。
