?在過去的20多年時間里，企業數據中心的IT架構經歷了封閉式、開放式和混合式三個發展階段。現在的混合式架構主要指“穩態”和“敏態”相結合的混合雙模式IT架構。對于金融行業，尤其是銀行客戶而言，“穩健”依然是整個企業平穩發展的基石，任何沒有建立在穩定基礎上的行業創新，都像是無根的浮萍。另一方面，互聯網、云計算等新興技術的創新性讓很多金融機構有機會通過差異化業務進行創新，并獲得更多的用戶的青睞。因此“穩態”和“敏態”的IT架構成為大多數銀行客戶的選擇。

數據是企業最重要的核心資產，數據的存儲任何時候都是用戶最為關心的。在“穩態”IT架構中，基于SAN架構的集中式存儲憑借其高吞吐低延時的優越性能以及突出的穩定性和可靠性備受用戶青睞。在“敏態”架構中，分布式存儲憑借其良好的擴展性成為主流存儲選擇。那么集中式存儲在以云技術為基礎的“敏態”架構下是否依然有市場呢？本文將進行這一話題的談論。

一、集中式和分布式存儲的區別

集中式存儲和分布式存儲特點顯著分明，集中式存儲具有穩定可靠性好，數據服務豐富，有良好的數據一致性及存儲容災解決方案，接口標準兼容性廣泛，性能強等優點。同時集中式存儲存在著擴展性等方面的限制。當然隨著技術的發展，集中式存儲目前處于第五代存儲階段，存儲性能和時延提升到了相當高的水平，同時在擴展性上主流品牌產品均支持橫向集群擴展以應對單一的大規模應用場景。

分布式架構的存儲，擴展集群規模大，硬件成本低廉，另一方面也存在著單節點性能低，延時高 , 數據弱一致性，標準不統一且非常依賴網絡環境和帶寬，如果網絡發生抖動或者故障，都可能會影響分布式存儲系統運行。

分布式存儲和集中式存儲的使用主要區分可在業務類型上，分布式存儲主要的特點在擴展性和高并發下的聚合帶寬上，集中式存儲主要特點在IO處理能力和延遲上，所以需要根據自身的業務特性對存儲進行選擇。數據增長快、復用要求高、架構要求靈活擴展的采用分布式存儲。業務重要性高、數據規模穩定、需求場景相對單一，對IO時延要求高的業務采用集中式存儲。  

二、數據中心建設模式的變化

傳統數據中心建設方式采用三層架構部署，存儲架構為SAN，前端應用環境主要包括兩類：服務器虛擬化和數據庫應用。這兩類主要應用對存儲的要求為低延遲、高并發，對存儲性能（IOPS和Throughout）和存儲可靠性要求極高。

隨著現代應用架構（電子商務、云原生、微服務、分布式應用、DevOps）的流行，用戶開始將越來越多的傳統應用進行改造和重構，遷移到云端部署。相應地，數據存儲采用云分層存儲技術，或直接采用云存儲。數據中心建設模式的這種變化也可以成為云化。

那么在云化環境下，在云平臺的基礎架構層該使用什么樣的存儲技術呢？目前國內的主流云平臺產品大都是基于OpenStack開發的，通常會采用基于Ceph開發的分布式存儲作為云平臺的主要后端存儲。

Ceph是一種為優秀的性能、可靠性和可擴展性而設計的統一的、分布式文件系統。性能主要是通過放棄傳統集中式存儲元數據尋址的方案，采用CRUSH算法，數據分布均衡，提高并行度。可靠性主要通過設置多副本，支持故障域隔離等技術實現。高可擴展性主要體現在架構去中心化，擴展靈活。Ceph 的統一體現在可以提供文件系統、塊存儲和對象存儲三種存儲接口。

如今商用市場上的OpenStack+Ceph的配合打得很好，造成了大家都認為云平臺就該掛分布式存儲。其實不然，云平臺也可以使用集中式存儲，而且在某些特定場景下集中式存儲反而更有優勢。

三、集中式存儲對接云平臺的可行性

作為目前目前最流行的IaaS框架，OpenStack 在Folsom 版本開始，將之前在Nova 中的部分持久性塊存儲功能分離出來，獨立為新的組件Cinder。Cinder是OpenStack中提供存儲服務的API框架，用來為后端不同的存儲結構提供統一的接口使其與OpenStack進行整合。不同的塊設備服務廠商在Cinder中實現其驅動支持。后端的存儲可以是DAS、NAS、SAN、對象存儲或者分布式文件系統。由于在云計算領域OpenStack受歡迎度非常高，因此眾多存儲廠商如NetAPP、IBM、EMC和眾多開源快存儲系統均提供了對Cinder的支持，這也為在云平臺基礎架構層使用SAN存儲提供了技術基礎。那么實際部署時需要提前考慮哪些因素呢？

當用戶規劃是否可以在云平臺下使用集中存儲時，需要首先考慮兩個方面。

第一，自己使用的云平臺是不是基于OpenStack開發的，如果不是，那可能都沒有SAN的接口。國內的主流云平臺產品大都是基于OpenStack開發的，但也存在少量的自研云平臺。大多數國內供應商都是基于OpenStack架構開發的產品。所以，我們所說的集中存儲和云平臺對接，大都會演變為和OpenStack的某個版本進行對接。

第二，基于Openstack的云平臺通過使用Cinder來對接FC-SAN集中式存儲，Cinder只提供框架，需要通過調用FC-SAN設備廠商提供的Driver來使用和管理。這方面需要云平臺廠商配合。如果確實計劃使用集中存儲作為云平臺底層存儲池但又遇到云平臺廠商不支持和該品牌或者型號存儲驅動對接時，可以采用在云平臺的存儲節點掛載FC盤，然后再以lvm、filesystem或ceph osd的方式來對接云平臺Cinder接口，但這樣有著不可避免的性能損耗，并非最佳選擇。目前國內大部分基于OpenStack開發的云平臺產品中已經集成主流存儲廠家的FC驅動，可以讓Cinder與存儲底層對接，得到更高和更穩定的性能表現。

四、集中式存儲如何在云環境下部署

上文提到由于國內的主流云平臺產品大都是基于OpenStack開發的，所以我們所討論集中存儲和云平臺的對接，其實演變為和OpenStack的某個版本進行對接。在OpenStack部署集中存儲主要有兩種部署組網方式，分別為IP-SAN和FC-SAN。

1.IP-SAN?

顧名思義，在云平臺底座通過IP-SAN方式部署集中存儲也就是云平臺的存儲節點通過IP網絡連接集中存儲。架構圖如下：

由于OpenStack架構是運行在IP組網中的，因此這種方式更接近于客戶希望點。當然目前都建議使用10Gb甚至更高速率的以太網。使用IP-SAN方式的優點在于無需在客戶網絡環境中部署兩套網絡，網絡成本更低。另一方面由于存儲網絡是基于IP網絡，無需協議轉換，節省性能。同時可以借助集中存儲成熟的雙活和復制的功能實現兩地三中心高可用架構。IP可達，災備可達。

2.FC-SAN?

由于集中存儲的使用場景通常是FC方式，在云平臺中使用FC-SAN方式接入集中存儲是集中存儲廠商更希望看到的。

架構圖如下：

使用這種方式接入的優點是FC-SAN的傳輸穩定性和安全性高于IP-SAN。缺點則有兩個方面，一是除IP網絡之外，必須再部署一套基于FC協議的SAN網絡，增加了網絡管理的復雜度。二是SAN網絡的部署成本較高，服務器的HBA卡和SAN交換機價格不菲，尤其是在集群規模較大的云平臺環境中，FC的開銷可能會相當高。

兩種部署方式特點鮮明，IP-SAN方式更適合規模較大、業務特點小而多的云平臺場景，FC-SAN則更適合云規模相對不大，但云上業務重要性較高的業務場景。

五、集中式存儲在云環境下特定場景的優勢

現代數據中心的建設模式不論如何發展，無論是傳統集中式架構還是云化等分布式架構，用戶的數據始終是最重要的核心資產，數據安全和存儲系統的可靠性始終是用戶最為關心的。在這方面集中式存儲憑借其特性占有先天優勢，主要體現在以下幾個方面。

1.便于遷移，實現利舊?

如果用戶原來的數據就在集中存儲里，上云后數據依然存儲在原來的存儲里，可避免數據遷移的麻煩和遷移過程中數據丟失的風險。另一方面也降低再次采購存儲的成本，保護了用戶的原有投資。

2.性能可期、擴展可靠?

SAN存儲性能優異，表現穩定，數據訪問有可靠性、實時性、一致性保證。同時，現在主流品牌SAN存儲產品均支持橫向集群擴展，可實現控制器節點和磁盤柜靈活在線擴容，存儲性能和存儲容量可獨立按需線性增長。

3.云可變、數據安全?

作為用戶的核心資產數據，如果存放到某云廠商的云平臺中，其業務今后就被其徹底綁定，后期維護、業務調整、擴容及災備建設等，都只能依托這家云廠商來運作。因此用戶在規劃云平臺架構時，可以將核心資產數據與業務分開規劃。數據存儲在開放、標準的SAN存儲中，只有業務上云。核心數據資產解除與云平臺廠家之間的綁定關系。

4.數據可靠性管理簡單高效?

業務上云后，放在存儲中的數據根據用戶對數據可靠性、實時性要求，可以做雙活、全閃、快照、復制、備份等專業存儲的特色功能，比在云上實施簡單、靈活，效率高，數據恢復時間受控，后期建設及維護成本也低。

作者：康建國，某農信存儲工程師。目前主要負責小型機、存儲、數據庫等方面的運維及管理工作。銀行從業13年，參加過省農信核心系統架構升級、主機下移、開放平臺存儲架構優化等項目，對存儲雙活、數據庫高可用等方面有著深入的見解。