NVMe SSD的性能有多高？常見(jiàn)PCIe 3.0 x4通道的NVMe SSD，4KB隨機(jī)讀取性能接近80萬(wàn)IOPS已經(jīng)不是新鮮事，采用PCIe x8通道的NVMe SSD更是可以獲得100萬(wàn)+的IOPS。

性能高也有“煩惱”，比如我們突然發(fā)現(xiàn)CPU的性能不夠了——硬盤(pán)時(shí)代，大家常說(shuō)存儲(chǔ)是系統(tǒng)的性能瓶頸，經(jīng)過(guò)SATA SSD的過(guò)渡，PCIe到NVMe SSD，終于把CPU變成了瓶頸。提高CPU性能有兩大手段：高主頻與多內(nèi)核。不管用哪個(gè)手段，最終都反應(yīng)為能耗的一路攀升。今年7月剛剛發(fā)布的至強(qiáng)可擴(kuò)展處理器（Xeon SP）功耗已經(jīng)突破200W，比上一代的至強(qiáng)E5 v4高出近50%，對(duì)普遍采用風(fēng)冷散熱的通用服務(wù)器而言，結(jié)構(gòu)設(shè)計(jì)的功力空前重要。

并且，NVMe SSD的性能發(fā)揮的前提是高速的PCIe通道。一個(gè)U.2接口的NVMe SSD需要PCIe x4，而每個(gè)至強(qiáng)SP提供48條PCIe 3.0通道，比前代提高20%。雙路至強(qiáng)SP服務(wù)器共有96條PCIe 3.0通道，全部用上正好支持24個(gè)U.2的NVMe SSD，剛好對(duì)應(yīng)主流2U服務(wù)器的24個(gè)前置2.5英寸盤(pán)位設(shè)計(jì)。即使考慮到PCH、網(wǎng)卡以及其他必要組件也要占用PCIe通道，實(shí)際上能支持的NVMe SSD數(shù)量不會(huì)有那么多，但CPU也未必吃得消啊……

考驗(yàn)服務(wù)器設(shè)計(jì)能力的時(shí)候到了，尤其是U.2 NVMe SSD的加入。一方面2U標(biāo)準(zhǔn)機(jī)箱內(nèi)的高性能（通常意味著高能耗）組件更多，需要更好的散熱設(shè)計(jì)；另一方面，如何去兼顧NVMe SSD的性能，同時(shí)繼承雙路服務(wù)器“多面手”的優(yōu)良傳統(tǒng)？ 

新處理器的推出必然帶動(dòng)新一輪服務(wù)器升級(jí)，在英特爾正式發(fā)布至強(qiáng)SP家族的當(dāng)天，戴爾也同步推出了基于該系列處理器家族的第一波14G服務(wù)器，包括肩負(fù)更新主流2U市場(chǎng)重任的PowerEdge R740/R740xd。在2017戴爾科技論壇（DTF）舉辦之前，企事錄實(shí)驗(yàn)室獲得了一臺(tái)配置誠(chéng)意滿(mǎn)滿(mǎn)的Dell PowerEdge R740xd服務(wù)器：雙路Xeon Gold 6130處理器（8張圖速覽新至強(qiáng)：Skylake架構(gòu)、外貌與型號(hào)）、384GB DDR4-2666內(nèi)存，雙M.2 SSD配置的BOSS（Boot Optimized Storage Solution，優(yōu)化啟動(dòng)存儲(chǔ)方案）卡，（支持RoCE的）雙端口25GbE網(wǎng)卡，以及最重要的4塊U.2 NVMe SSD。

[[202985]]

乍一看，作為新一代的R740xd跟以前的13G服務(wù)器好像沒(méi)什么區(qū)別，但細(xì)看卻大有不同。先看前面板，注意最右4塊盤(pán)，就是高性能的U.2規(guī)格NVMe SSD，來(lái)個(gè)特寫(xiě)：

4塊800GB的U.2 NVMe SSD，加上內(nèi)部的Xeon Gold 6130處理器和384GB內(nèi)存，讓我們充滿(mǎn)期待。

[[202986]]

R740xd內(nèi)部照，尾部的兩個(gè)PCIe ×16插槽上各連接了一個(gè)扣著銀色散熱片的PCIe Card，這實(shí)際上是連接前面板U.2 NVMe SSD的PCIe擴(kuò)展卡。

[[202987]]

這是PCIe擴(kuò)展卡的核心——基于PLX的PCIe Switch芯片，采用PCIe 3.0 x16接口，分為AB兩個(gè)端口，每個(gè)端口是PCIe x8規(guī)格，支持兩塊x4的U.2 NVMe SSD。因此一塊卡可以全速連接4塊U.2 SSD。

Dell PowerEdge R740xd服務(wù)器中的U.2 NVMe SSD連接示意圖，最大可支持12個(gè)U.2 SSD，或者最大24塊SATA/SAS SSD或者HDD，亦或兩者按比例混插。

再看看R740xd中的PCIe通道分配情況：

根據(jù)企事錄手里的這臺(tái)戴爾 R740xd服務(wù)器的配置，我們畫(huà)了如上的示意圖。

CPU1/2分別提供不同的PCIe擴(kuò)展槽（其余的PCIe通道被PCH、板載網(wǎng)卡等周邊設(shè)備所使用）：

由此可見(jiàn)，盡管雙路平臺(tái)R740xd有96條PCIe通道，但仍有不夠用的感覺(jué)，除了BOSS卡（x4）、H740p SAS RAID卡（x8）、25GbE網(wǎng)卡（x8）、PCH和板載網(wǎng)卡（10GbE和1GbE）之后，也僅給高速的NVMe SSD留下了48條PCIe通道可供使用，恰好滿(mǎn)足12個(gè)NVMe SSD所需要的PCIe通道數(shù)。（選擇PCIe卡橋接U.2相比板載U.2接口，靈活性更好。在服務(wù)器上將更多的PCIe總線(xiàn)留給擴(kuò)展性更好的PCIe插槽，會(huì)方便用戶(hù)的使用。）

在企事錄實(shí)驗(yàn)室中的這臺(tái) Dell PowerEdge R740xd服務(wù)器配備了4塊三星PM1725系列的U.2 NVMe SSD： 

Dell PowerEdge R740xd服務(wù)器中所使用的NVMe SSD，800GB容量，屬于三星PM1725系列：最大3.1GB/s帶寬，4k隨機(jī)讀寫(xiě)IOPS分別為75萬(wàn)和12萬(wàn)。

數(shù)據(jù)庫(kù)類(lèi)應(yīng)用是目前最能充分發(fā)揮NVMe SSD性能優(yōu)勢(shì)的企業(yè)應(yīng)用場(chǎng)景之一，尤其是關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫(kù)。因?yàn)镹VMe SSD具有很好的單位IOPS成本，又具有數(shù)據(jù)庫(kù)類(lèi)應(yīng)用所需要高性能和低延遲。同時(shí)考慮到R740xd服務(wù)器配備了兩顆英特爾Xeon Gold 6130處理器和384GB內(nèi)存，具有很好的性能，所以企事錄實(shí)驗(yàn)室首先部署了一個(gè)單實(shí)例的Oracle數(shù)據(jù)庫(kù)環(huán)境，以此來(lái)評(píng)估這臺(tái)PowerEdge R740xd的性能表現(xiàn)。

在構(gòu)建好Oracle 12c數(shù)據(jù)庫(kù)之后，考慮到R740xd中配備了384GB的內(nèi)存，而4塊NVMe SSD的容量之和為3.2TB，為避免大內(nèi)存容量導(dǎo)致的數(shù)據(jù)庫(kù)I/O性能虛高，企事錄在創(chuàng)建數(shù)據(jù)庫(kù)過(guò)程中稍微限制了Oracle所能使用的內(nèi)存容量，即將SGA的內(nèi)存容量限制為64GB，同時(shí)寫(xiě)入200GB的測(cè)試數(shù)據(jù)。穩(wěn)定運(yùn)行1小時(shí)之后，獲得Oracle數(shù)據(jù)庫(kù)性能：

在4塊NVMe SSD下，配備Xeon Gold 6130處理器的R740xd服務(wù)器獲得了172.5萬(wàn)的平均TPM，峰值TPM超過(guò)186萬(wàn)，接近200萬(wàn)TPM；平均TPS接近3萬(wàn)左右，峰值TPS超過(guò)3.2萬(wàn)，且平均響應(yīng)時(shí)間僅為3ms。

單純就性能而言，平均3萬(wàn)TPS的Oracle數(shù)據(jù)庫(kù)性能已經(jīng)接近了某些全閃存陣列的性能水平。但結(jié)合企事錄實(shí)驗(yàn)室以往的測(cè)試經(jīng)驗(yàn)來(lái)看，計(jì)算能力應(yīng)該達(dá)到了瓶頸，畢竟Oracle數(shù)據(jù)庫(kù)也是非常消耗計(jì)算能力的應(yīng)用，從上圖可以看到，R740xd的CPU占用率已經(jīng)超過(guò)了80%。

盡管黃金版的6130處理器在至強(qiáng)SP家族中只處于中上游水平，但其結(jié)合NVMe SSD構(gòu)建的單實(shí)例Oracle數(shù)據(jù)庫(kù)性能已經(jīng)接近上一代頂級(jí)至強(qiáng)E5-2699 v4處理器的性能。200萬(wàn)TPM對(duì)于雙路服務(wù)器而言，似乎是一個(gè)不過(guò)逾越的難關(guān)，但在新一代Xeon處理器中卻有望破除。

上圖是在Oracle數(shù)據(jù)庫(kù)測(cè)試過(guò)程中，從（Oracle Linux 7.4）操作系統(tǒng)上獲得的截圖，雖然有些核心的利用率為50%左右，但有些核心已經(jīng)高達(dá)90%，從最上面的CPU History曲線(xiàn)來(lái)看，已經(jīng)有部分核心的利用率接近100%，這應(yīng)該是Oracle數(shù)據(jù)庫(kù)性能無(wú)法進(jìn)一步提升的瓶頸所在。

為了證實(shí)4塊NVMe SSD并未達(dá)到性能瓶頸，企事錄實(shí)驗(yàn)室利用Oracle數(shù)據(jù)庫(kù)本身的命令行腳本測(cè)試了在1塊SSD和4塊SSD情況下，Oracle數(shù)據(jù)庫(kù)隨機(jī)讀取的性能情況：

圖上為1塊NVMe SSD情況下，Oracle數(shù)據(jù)庫(kù)的隨機(jī)讀取性能，接近42萬(wàn)IOPS，帶寬在3.3GB/s左右，這基本是單個(gè)U.2版本PM1725的極限性能；圖下則為4塊NVMe SSD情況下，Oracle數(shù)據(jù)庫(kù)隨機(jī)讀取性能高達(dá)170萬(wàn)IOPS，帶寬約13GB/s。簡(jiǎn)單推算，隨著NVMe SSD的增加，其IOPS性能是線(xiàn)性增長(zhǎng)的。

這一測(cè)試結(jié)果基本可以確定并非NVMe SSD出現(xiàn)瓶頸，接下來(lái)，企事錄實(shí)驗(yàn)室分別針對(duì)1、2、3塊NVMe SSD下的Oracle數(shù)據(jù)庫(kù)性能進(jìn)行了測(cè)試，并結(jié)合4塊NVMe SSD下的Oracle數(shù)據(jù)庫(kù)性能：

分別在1~4塊NVMe SSD作為數(shù)據(jù)庫(kù)存儲(chǔ)下，基于R740xd服務(wù)器構(gòu)建的Oracle數(shù)據(jù)庫(kù)性能表現(xiàn)，可見(jiàn)在2塊NVMe SSD情況下，Oracle數(shù)據(jù)庫(kù)已經(jīng)獲得最高性能，隨著NVMe SSD的增加，其性能表現(xiàn)并沒(méi)有明顯變化。究其原因，即這臺(tái)R740xd的兩個(gè)Xeon Gold 6130處理器計(jì)算性能達(dá)到上限，如果使用更高計(jì)算能力的處理器，Oracle數(shù)據(jù)庫(kù)的性能還有提升的空間。