書接上周，且看龍哥說的“1小時部署Server SAN”怎么實現！

“Server SAN和超融合系統，在部署上有什么區別？”龍哥問道。

看我不知從何說起，龍哥：Server SAN是把用于替代傳統SAN的軟件定義存儲（SDS）部署在多個物理節點上，超融合則是在虛擬化環境中進行類似的部署。

是說超融合系統多了個部署虛擬化環境的環節“一小時”能做完這些么？想想我給辦公室搭一臺文件共享的NAS，還花了一天的時間，這涉及到多個節點的Server SAN和超融合，雖說有可以并行的環節，真能在一小時內搞定？

傳統企業級生產環境的部署始終是一個費時耗力的過程，按照傳統方式部署一套企業級虛擬化平臺，怎么著也得好幾天，這還算小型環境。大型環境花的時間就不能以天來計算了……

龍哥見我不信，就問：“就這套系統，從上架、加電到現在準備就緒，用了多長時間？”

“大約半個小時吧？”

“實際上還可以更短時間。”龍哥堅定地說，“FX2采用模塊化設計，所有組件齊備，上電就可以使用，甚至不需要外接交換機。實際上，你只要接通電源，然后花2分鐘分配好FD332直連存儲模塊和PCIe插槽，就可以開始部署了。”

說干就干，龍哥通過iDRAC依次給三個FC630節點掛載上CentOS 7.2系統鏡像，然后開始安裝。因為只是一個小型環境，所以手動完成這些并不復雜。龍哥提醒說：“如果規模比較大，可以用Dell OpenManage或第三方工具來進行統一的安裝、部署和管理，就是上百臺服務器，也可以批量完成系統安裝。”

20分鐘CentOS系統安裝完畢

龍哥又通過iDRAC將另外一個鏡像掛載到FC630上面：“這是XSKY的X-EBS安裝鏡像。基于Ceph的商業化SDS產品，一鍵安裝，很方便。”

 

X-EBS安裝很快，10分鐘

龍哥通過瀏覽器登錄了X-EBS的管理后臺，將另外兩臺FC630節點上的存儲資源（各分配了FD332的一半硬盤）加入到同一個資源池。

 

添加存儲節點和硬盤，上圖可以看到，在node01上添加了8塊磁盤和一塊NVMe SSD。雖然兩種轉速（15k RPM和10k RPM）的磁盤性能有差異，但在SSD的性能面前，這點差異完全可以忽略不計。

當3臺X-EBS Controller虛擬機與對應存儲都添加進來之后，就開始設置存儲資源池了：

將分布在3個節點上的NVMe SSD添加到一個資源池（High-pool）內，并將副本數設置為2（X-EBS提供了三種選擇，分別為1、2、3副本）。

設置好資源池之后，再創建相應的卷（Volume），Server SAN就可以對外提供存儲服務啦。

點擊“創建塊存儲卷”，然后輸入名稱并分配容量大小

龍哥不緊不慢地說：“應用服務器（計算節點）可以通過兩種方式訪問Server SAN提供的存儲服務：***種是在應用服務器上安裝一個類似Agent的客戶端，進行數據傳輸，XSKY的X-CBS就屬于這一種；X-EBS屬于第二種，可以通過標準的iSCSI接口跨網絡訪問。在需要存儲服務的（計算）節點上安裝iSCSI客戶端，然后會生成一個iSCSI的iqn號碼；在X-EBS后臺管理界面中添加對應的客戶端，將服務器節點的iqn號碼填入，即可分配存儲服務。第二種方法，接下來在VMware環境中的部署就會用到。”

 

[[199416]] 

“Server SAN的安裝這就完成了？還沒在計算節點上配置訪問呢。”我看龍哥已經準備將剛搭建好的這套Server SAN系統鏟掉了。

“通常我們說到Server SAN，默認是指一種計算和存儲分離部署的架構，也就是提到FX2時經常說的‘融合架構’。既然是分離部署，部署Server SAN就是存儲端的任務，不用涉及計算節點。”龍哥還是很淡定，“接下來不是要部署超融合么？肯定會讓你看到計算節點上的部署——當然，在虛擬化環境中，是會更方便一點兒。”

“超融合是不是可以理解為，把Server SAN部署在虛擬化環境中，與應用跑在一起？”

龍哥笑道：“Server SAN是超融合的基石，可以說超融合代表了Server SAN的一種使用場景——本來超融合架構就是融合架構的一個子集。當Server SAN單獨使用時，就是將存儲控制器（軟件功能）直接安裝在物理服務器上。而在超融合系統中的Server SAN，則是將存儲控制器部署在虛擬機或者hypervisor之中。雖然形態不同，但本質上沒有明顯差別。所以，你的理解基本正確。”

 

 

 

Server SAN與超融合的架構區別，主流超融合比Server SAN多了一個虛擬化層，其上VM不但有分布式存儲控制器，還可以有其他應用VM。

聽龍哥梳理Server SAN與超融合架構的血緣關系，我才理解他以前所說“企業用戶對Server SAN的接受度很大程度上是拜超融合所賜”的含義。既然在3個節點上部署Server SAN真的用不了1個小時，部署超融合也只是多了安裝hypervisor的時間而已吧？

龍哥呵呵一笑：“超融合能有多難？也就1個小時的事兒！”我當然舉雙手贊成。還用這套Dell PowerEdge FX2，龍哥開始將其部署為一套超融合系統。

 

[[199417]] 

安裝VMware vSphere虛擬化平臺的過程無需多言，龍哥依次在三個FC630節點上安裝ESXi 6.2 hypervisor——這一步可以并行化，所以時間并不算長。然后用Windows Server 2012 R2操作系統構建兩臺虛擬機，分別用于Active Directory和vCenter Server。接著登陸vCenter將三臺ESXi主機添加到同一個集群。

同時，還需要將ESXi主機上的NVMe SSD和FD332設置為直通模式，用于安裝XSKY X-EBS。如下圖所示：

 

 

將FD332的8塊磁盤（即上圖紅框中的LSI FD332 PERC）和NVMe SSD（上圖中的Unknown Non-Volatile Memory Controller）勾選設置為直通模式。

 

[[199418]] 

安裝完虛擬化平臺之后，就可以安裝XSKY X-EBS分布式存儲軟件了。

首先，要在每臺ESXi主機上都創建一臺虛擬機，并安裝CentOS 7.x操作系統，用于XSKY X-EBS的分布式控制器——X-EBS Controller。這種虛擬機，在超融合系統中通常被稱為CVM（Controller  Virtual  Machine，控制虛機）。為了讓CVM高效的處理存儲I/O，需要將ESXi主機上的存儲資源——NVMe SSD和FD332存儲——直通（pass-through）給對應的X-EBS Controller，如下圖所示：

將ESXi主機上的NVMe SSD和FD332存儲直通給對應的X-EBS Controller，可以看到FD332被識別為Dual ROC（RAID on Chip），也就是Dual PERC，只是在SDS的場景下，我們不啟用其RAID功能。

X-EBS本身的安裝，與前面在物理環境下部署Server SAN的對應環節基本相同，此處不再重復。少數不同之處主要是虛擬化環境造成的，這里面有一些便利，譬如：龍哥在安裝vCenter服務器之后，先創建一個CentOS虛擬機，配置好并克隆成模板。在安裝X-EBS分布式控制器的時候，直接用這個模板虛機部署三個節點上的存儲控制器，時間大幅節省。

X-EBS支持標準iSCSI協議，也就是說，其他主機（包括ESXi主機、虛擬機或者其他物理主機）無需安裝Agent即可使用其提供的存儲服務。比如，將這個名為LUN1的卷提供給ESXi主機使用。

首先，在需要添加存儲的ESXi主機上添加iSCSI適配器，獲得iqn號，如下圖所示：

在ESXi主機上添加iSCSI適配器，獲得一個iqn，如上圖紅框所示。

然后返回到X-EBS管理界面，創建一個iSCSI訪問客戶端，然后在提示輸入iqn的空白框中輸入ESXi主機的iqn。并將LUN1映射到這個iSCSI客戶端上，如下圖：

然后回到ESXi主機上，在配置界面選擇存儲器，然后添加存儲器即可，如下圖所示：

這套基于Dell PowerEdge FX2硬件、VMware vSphere虛擬化平臺和XSKY X-EBS分布式存儲的超融合系統就構建完成了。其中FX2提供了基礎的計算和存儲硬件（還有內部或外接交換機），vSphere整合了計算資源，X-EBS則整合了存儲資源。整個超融合構建步驟看起來比較多，但過程并不復雜，而且主要集中在軟件環節，就連FX2節點之間的存儲硬件分配也只需動動鼠標即可，大幅簡化了存儲的安裝和管理。

構建整套超融合系統只用了一個多小時，而且大部分時間都花在安裝vSphere虛擬化平臺上。如果這些虛擬化環境已經事先準備好，在其上部署X-EBS并構成一套簡易的超融合系統，根本用不到1個小時。

工作做完了！

來杯咖啡，想想有什么新的idea？

 

 

 

　

　

　　有共享的就是方便