@baimmi  中國(guó)銀聯(lián)股份有限公司

由于數(shù)據(jù)的機(jī)密性與敏感性，業(yè)務(wù)相互之間的隔離對(duì)于在數(shù)據(jù)中心內(nèi)部非常重要。在數(shù)據(jù)中心內(nèi)部，數(shù)據(jù)的訪問(wèn)需要受到嚴(yán)格控制，必須進(jìn)行業(yè)務(wù)與管理的網(wǎng)絡(luò)相互隔離。管理網(wǎng)段與租戶網(wǎng)絡(luò)三層互通，租戶通過(guò)管理網(wǎng)段訪問(wèn)存儲(chǔ)系統(tǒng)的Portal界面并下發(fā)增、刪、檢、查等管理指令；業(yè)務(wù)網(wǎng)段則負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)的傳輸，當(dāng)存儲(chǔ)空間以卷的形式通過(guò)業(yè)務(wù)網(wǎng)段掛載給前端業(yè)務(wù)系統(tǒng)，并在此網(wǎng)段上提供服務(wù)。

按照分布式存儲(chǔ)的范式，存儲(chǔ)系統(tǒng)的管理和業(yè)務(wù)分屬兩個(gè)網(wǎng)段，互相獨(dú)立，互不影響，數(shù)據(jù)傳輸只在業(yè)務(wù)網(wǎng)段上進(jìn)行，管理與業(yè)務(wù)通過(guò)服務(wù)器通信，無(wú)法通過(guò)網(wǎng)絡(luò)互訪。

在業(yè)務(wù)網(wǎng)段上，規(guī)劃每個(gè)服務(wù)器由兩根網(wǎng)線分別連接到兩臺(tái)交換機(jī)。在管理網(wǎng)段上，規(guī)劃每個(gè)服務(wù)器由兩根網(wǎng)線分別連接兩臺(tái)交換機(jī)。通過(guò)節(jié)點(diǎn)級(jí)的雙網(wǎng)卡主備以及集群級(jí)的交換機(jī)主備來(lái)提供網(wǎng)絡(luò)高可靠性。兩個(gè)網(wǎng)段使用獨(dú)立的物理網(wǎng)卡進(jìn)行隔離，在條件不滿足的情況下使用不同VLAN隔離。

[[228530]]

依據(jù)木桶效應(yīng)，一個(gè)系統(tǒng)的整體性能上限往往是由系統(tǒng)中的薄弱環(huán)節(jié)決定。當(dāng)集群采用混合存儲(chǔ)的配置時(shí)，標(biāo)準(zhǔn)的10Gbps高速網(wǎng)絡(luò)能夠滿足相當(dāng)規(guī)模的集群在負(fù)載均衡、數(shù)據(jù)重建時(shí)的壓力；然而，當(dāng)集群采用全閃存架構(gòu)時(shí)，硬盤(pán)性能將大幅提升，此時(shí)標(biāo)準(zhǔn)的10Gbps網(wǎng)絡(luò)有可能會(huì)成為系統(tǒng)中的短板，56 Gbps InfiniBand網(wǎng)絡(luò)乃至更高速的100 Gbps網(wǎng)絡(luò)，近似無(wú)阻塞通信，突破存儲(chǔ)系統(tǒng)內(nèi)部交換的瓶頸。在InfiniBand網(wǎng)絡(luò)中，通信時(shí)延控制于納秒級(jí)，計(jì)算存儲(chǔ)信息及時(shí)傳遞，配合SSD的高速讀寫(xiě)，具有可觀的性能。

@劉東 東軟集團(tuán)

分布式存儲(chǔ)集群在設(shè)計(jì)建設(shè)過(guò)程中，集群網(wǎng)絡(luò)是個(gè)瓶頸。因?yàn)榉植际酱鎯?chǔ)對(duì)網(wǎng)絡(luò)帶寬的依賴(lài)性非常高，所有的數(shù)據(jù)交換都需要通過(guò)網(wǎng)絡(luò)進(jìn)行，所有要求具備高速和可靠的網(wǎng)絡(luò)環(huán)境。

具體規(guī)劃如下：

1、盡量采用10G網(wǎng)絡(luò)接口，并采用光口進(jìn)行連接。上行鏈路采用40G接口。

2、網(wǎng)絡(luò)設(shè)備盡量做到冗余，至少配置2個(gè)萬(wàn)兆光口接入交換機(jī)。

3、分布式存儲(chǔ)集群除了需要交換大量的數(shù)據(jù)外，可能還會(huì)在網(wǎng)絡(luò)上執(zhí)行虛擬機(jī)復(fù)制和同步活動(dòng)，具體取決于系統(tǒng)中托管的虛擬機(jī)數(shù)量和有效操作數(shù)量。如果這時(shí)候只有千兆網(wǎng)絡(luò)，會(huì)不堪重負(fù)，特別是在虛擬機(jī)重建和同步操作期間。

4、將各種流量類(lèi)型（分布式存儲(chǔ)網(wǎng)絡(luò)、管理網(wǎng)絡(luò) 、虛擬機(jī)遷移網(wǎng)絡(luò)、虛擬機(jī)生產(chǎn)網(wǎng)絡(luò)、）分別放在不同的 VLAN中，并使用份額作為服務(wù)質(zhì)量 (QoS) 機(jī)制，以便在可能出現(xiàn)的爭(zhēng)用場(chǎng)景中保持期望的性能級(jí)別。

5、劃分不同的VLAN還可以保證分布式存儲(chǔ)集群網(wǎng)絡(luò)不受影響，因?yàn)榉植际酱鎯?chǔ)集群網(wǎng)絡(luò)一旦發(fā)生IP地址沖突，將導(dǎo)致整個(gè)分布式存儲(chǔ)集群不可用。

6、為了實(shí)現(xiàn)***的安全性和性能，應(yīng)將分布式存儲(chǔ)集群網(wǎng)絡(luò)流量隔離至其自己的第 2 層網(wǎng)段。

7、對(duì)網(wǎng)卡進(jìn)行綁定配置，作為可用性和冗余措施，做帶寬聚合。

@Garyy 大地保險(xiǎn)

網(wǎng)絡(luò)路徑全冗余 虛擬網(wǎng)絡(luò)層通過(guò)采用多網(wǎng)卡綁定等技術(shù)避免單個(gè)網(wǎng)卡故障引發(fā)的業(yè)務(wù)中斷。

網(wǎng)絡(luò)分平面通信 系統(tǒng)通信平面劃分為業(yè)務(wù)平面、存儲(chǔ)平面和管理平面。為了保證各種網(wǎng)絡(luò)平面數(shù) 據(jù)的可靠性，不同平面間采用VLAN等技術(shù)進(jìn)行隔離，單個(gè)平面故障不影響其余兩個(gè)平 面的正常工作。 業(yè)務(wù)平面:主要為虛擬機(jī)虛擬網(wǎng)卡的通信平面，對(duì)外提供業(yè)務(wù)應(yīng)用。 存儲(chǔ)平面:主要為iSCSI存儲(chǔ)提供通信平面，并為虛擬機(jī)提供存儲(chǔ)資源，但不直 接與虛擬機(jī)通信，而通過(guò)虛擬化平臺(tái)轉(zhuǎn)換。 管理平面:負(fù)責(zé)整個(gè)云計(jì)算系統(tǒng)的管理、業(yè)務(wù)部署、系統(tǒng)加載等流量的通信。 -網(wǎng)卡負(fù)荷分擔(dān) 對(duì)于各通信平面(業(yè)務(wù)、存儲(chǔ)、管理)均采用雙網(wǎng)卡，雙網(wǎng)卡采用了Bonding模 式，兩網(wǎng)卡被綁定成邏輯上的“一塊網(wǎng)卡”后，同步一起工作。既能對(duì)服務(wù)器的訪問(wèn) 流量進(jìn)行負(fù)荷分擔(dān)，又能保證其中一塊發(fā)生故障的時(shí)候，另外的網(wǎng)卡立刻接管全部負(fù) 載，過(guò)程是無(wú)縫的，服務(wù)不會(huì)中斷。