1 需求分析

XX銀行目前虛擬化平臺為3年前建設(shè)投產(chǎn)的，版本為vSphere 5.5，一直沒有更新。隨著XX銀行業(yè)務(wù)的高速發(fā)展，原有平臺已經(jīng)滿足不了目前的應(yīng)用需求，而且有些版本老舊，給運(yùn)維帶來很多不便。基于上述原因，現(xiàn)決定構(gòu)建全新的虛擬化平臺，采用新的vSphere 6.0版本，并考慮到未來的業(yè)務(wù)擴(kuò)展。

現(xiàn)階段規(guī)劃5個分區(qū)，分別為生產(chǎn)業(yè)務(wù)區(qū)、管理區(qū)、網(wǎng)銀Web區(qū)、網(wǎng)銀App區(qū)、運(yùn)維基礎(chǔ)區(qū)。每個業(yè)務(wù)區(qū)承載著不同數(shù)量的虛擬機(jī)，并且隨著業(yè)務(wù)發(fā)展不斷增加。隨著新業(yè)務(wù)不斷增長要求，未來將逐步把小型機(jī)服務(wù)器上應(yīng)用系統(tǒng)遷移到虛擬化平臺，最終實(shí)現(xiàn)數(shù)據(jù)中心x86服務(wù)器的全部虛擬化。

本方案將根據(jù)用戶現(xiàn)有虛擬化平臺的現(xiàn)狀和物理服務(wù)器進(jìn)行評估，給出新數(shù)據(jù)中心虛擬化平臺的詳細(xì)設(shè)計，作為以后項(xiàng)目實(shí)施測試和驗(yàn)收的依據(jù)。

2 總體架構(gòu)

XX銀行虛擬化平臺總體架構(gòu)由86臺主機(jī)組成，分別為生產(chǎn)業(yè)務(wù)區(qū)、管理區(qū)、網(wǎng)銀Web區(qū)、網(wǎng)銀App區(qū)、運(yùn)維基礎(chǔ)區(qū)構(gòu)成，面向正式生產(chǎn)業(yè)務(wù)，由一個放在運(yùn)維/基礎(chǔ)區(qū)的vCenter統(tǒng)一管理。

 

每個業(yè)務(wù)區(qū)域之間是網(wǎng)絡(luò)隔離的，但vCenter管理網(wǎng)絡(luò)是相通的。

2.1 ESXi主機(jī)配置

2.1.1 硬件配置規(guī)格

 

2.1.2 BIOS設(shè)置

 

2.1.3 ESXi主機(jī)軟件版本

Name: VMware ESXi 6.0 Update 1

2.1.4 配置NTP時間源

ESXi使用是UTC(Universal Time/Temps Cordonn 世界標(biāo)準(zhǔn)時間)時區(qū)，而且ESXi已經(jīng)不支持修改時區(qū)。如果沒有NTP服務(wù)器，可以手動調(diào)整ESXi主機(jī)時間。

安裝ESXi主機(jī)后，立刻調(diào)整時間(未調(diào)整時間之前不能建立和遷移新虛擬機(jī))。強(qiáng)烈建議統(tǒng)一配置NTP時間源，所有主機(jī)須與時間源同步。

2.1.5 ESXi主機(jī)命名規(guī)范

bkxx-esxi55-e<編號>

FQDN示例：bkxx-esxi55-e01.bkxx.cn，全小寫。ESXi主機(jī)與vCenter服務(wù)器名稱解析，加入XX銀行為此項(xiàng)目搭建的DNS服務(wù)器(DNS服務(wù)安裝于vCenter服務(wù)器)。

3 群集和資源池設(shè)計

3.1 VMware HA群集設(shè)計原理

至少2臺以上ESXi主機(jī)組建為一個HA群集。虛擬機(jī)文件放置在由光纖存儲組成的共享存儲上。 ESXi主機(jī)產(chǎn)生故障時，虛擬機(jī)自動在群集內(nèi)其他可用的ESXi主機(jī)上重新啟動。VMware HA為虛擬機(jī)中的運(yùn)行提供快速計劃外中斷恢復(fù)和具有成本效益的高可用性。

VMware HA不需要在應(yīng)用程序或虛擬機(jī)內(nèi)安裝任何特殊軟件。HA群集中的所有虛擬機(jī)均受 VMware HA 保護(hù)。VMware HA要求虛擬機(jī)必須駐留在共享存儲上。

VMware HA代理會在ESXi主機(jī)間相互通信，并監(jiān)控群集內(nèi)各臺ESXi主機(jī)的活躍度。默認(rèn)情況下，此通信通過每秒交換一次檢測信號來完成。如果15 秒過去后仍未收到檢測信號，而且 ping 不到該ESXi主機(jī)，則系統(tǒng)會聲明該ESXi主機(jī)發(fā)生故障。

網(wǎng)絡(luò)檢測信號是確定主機(jī)狀態(tài)的關(guān)鍵，數(shù)據(jù)存儲檢測信號使主機(jī)更加正確地判斷管理網(wǎng)絡(luò)不可達(dá)的狀態(tài)。默認(rèn)情況下，HA會選擇2個數(shù)據(jù)存儲心跳，這個選出的的數(shù)據(jù)存儲在集群內(nèi)所有的主機(jī)上有效。

如果連接服務(wù)器的物理網(wǎng)絡(luò)交換機(jī)支持 PortFast(或等效)設(shè)置，請將其啟用。此設(shè)置可防止ESX主機(jī)在執(zhí)行冗長的跨樹算法期間誤認(rèn)為網(wǎng)絡(luò)已被隔離。

在虛擬化平臺進(jìn)入運(yùn)行維護(hù)期后，如果需要執(zhí)行可能會觸發(fā)主機(jī)隔離響應(yīng)的網(wǎng)絡(luò)維護(hù)，建議首先禁用HA群集中的“主機(jī)監(jiān)控”功能，以掛起 VMware HA。完成維護(hù)后，請重新啟用“主機(jī)監(jiān)控”。

虛擬機(jī)重新啟動優(yōu)先級用于設(shè)定在ESX主機(jī)發(fā)生故障后虛擬機(jī)的重新啟動相對順序。這些虛擬機(jī)在新主機(jī)上按順序重新啟動，首先啟動優(yōu)先級相對較高的虛擬機(jī)，然后是那些低優(yōu)先級的虛擬機(jī)。建議為提供最重要服務(wù)的虛擬機(jī)分配較高的重新啟動優(yōu)先級。

3.2 集群和資源池的劃分

群集為運(yùn)行的虛擬機(jī)提供一個高可用性和冗余環(huán)境。虛擬機(jī)可以在以資源池為單位的范圍內(nèi)負(fù)載均衡，靈活調(diào)配。

根據(jù)數(shù)據(jù)中心網(wǎng)絡(luò)和業(yè)務(wù)架構(gòu)，每個業(yè)務(wù)區(qū)為一個獨(dú)立集群，每個集群即為一個獨(dú)立的資源池。生產(chǎn)區(qū)域共分為5個集群單元：管理區(qū)集群、業(yè)務(wù)區(qū)集群、網(wǎng)銀Web區(qū)集群、網(wǎng)銀App區(qū)集群和運(yùn)維基礎(chǔ)區(qū)集群，所有集群由運(yùn)維基礎(chǔ)區(qū)的vCenter統(tǒng)一管理調(diào)度。

3.3 群集接入控制策略設(shè)置

一類 指定故障切換主機(jī)

使用“指定故障切換主機(jī)”，在群集中空置一臺ESXi主機(jī)備用，指定它做為故障切換ESXI主機(jī)。則在ESXI主機(jī)發(fā)生故障時，VMware HA 將嘗試在備用ESXI主機(jī)上重新啟動其虛擬機(jī)。備用ESXI主機(jī)CPU和內(nèi)存配置不得低于群集內(nèi)的其他ESXI主機(jī)。

第二類 群集允許的主機(jī)故障數(shù)目

使用“群集允許的主機(jī)故障數(shù)目” ，VMware HA 允許指定數(shù)目的ESXI主機(jī)發(fā)生故障，同時可以確保群集內(nèi)留有足夠的資源來對這些主機(jī)上的虛擬機(jī)進(jìn)行故障切換。此類HA規(guī)則適用于虛擬機(jī)CPU和內(nèi)存耗用(或保留值)較平均的場景。目前，XX銀行項(xiàng)目中采用此種群集設(shè)置規(guī)則，設(shè)置群集允許的主機(jī)故障數(shù)目為1。

計算插槽大小

插槽大小由兩個組件(CPU 和內(nèi)存)組成。CPU 的方法是選擇已啟動虛擬機(jī)上的 CPU 預(yù)留最大值。無CPU 預(yù)留，則默認(rèn)值 256 MHz(使用 das.vmCpuMinMHz 更改)。內(nèi)存的方法是選擇已啟動虛擬機(jī)的內(nèi)存預(yù)留，然后再選擇最大值(使用 das.slotMemInMB 更改)。

確定每臺主機(jī)可以支持的插槽數(shù)目上限

用主機(jī)的 CPU/內(nèi)存資源數(shù)除以插槽大小，得出插槽數(shù)目上限，計算群集允許的主機(jī)故障數(shù)目。

示例，下圖中主機(jī)故障數(shù)目為1

 

第三類 預(yù)留的群集資源的百分比

可以將vSphere HA 配置為通過預(yù)留特定百分比的群集CPU 和內(nèi)存資源來執(zhí)行接入控制，用于從主機(jī)故障中進(jìn)行恢復(fù)。

使用“預(yù)留的群集資源的百分比”接入控制策略，vSphere HA 可確保預(yù)留CPU 和內(nèi)存資源總量的指定百分比以用于故障切換。

XX銀行選擇第二種“群集允許的主機(jī)故障數(shù)目”接入控制策略，值為“1”，即“允許1臺主機(jī)出現(xiàn)故障”。

注：如果vCenter不可用，它不會影響到群集的現(xiàn)有配置。故障切換時沒有vCenter加入，HA只是依賴vCenter配置和監(jiān)視群集。

3.4 VMware DRS功能

VMware DRS監(jiān)控群集內(nèi)所有主機(jī)和虛擬機(jī)的 CPU 和內(nèi)存資源的分布情況和使用情況。在給出群集內(nèi)資源池和虛擬機(jī)的屬性、當(dāng)前需求以及不平衡目標(biāo)的情況下，DRS會將這些衡量指標(biāo)與理想狀態(tài)下的資源利用率進(jìn)行比較。然后，DRS會相應(yīng)地執(zhí)行虛擬機(jī)遷移(或提供遷移建議)。群集中初次啟動虛擬機(jī)時，DRS 將嘗試通過在相應(yīng)主機(jī)上放置該虛擬機(jī)或提出建議來保持適當(dāng)?shù)呢?fù)載平衡。

DRS 的自動化級別：

手動 ： 初始放置位置：顯示推薦的主機(jī)。

遷移：顯示遷移建議。

半自動：初始放置位置：自動。

遷移：顯示遷移建議。

全自動：初始放置位置：自動。

遷移：自動執(zhí)行遷移建議。

在目前設(shè)置下，考慮到虛擬機(jī)與駐留主機(jī)的固定配置關(guān)系，暫不啟用DRS功能或者選擇“手動”DRS方式。啟用DRS功能，只需在群集配置中勾選啟用DRS，以及配置相應(yīng)規(guī)則。在正確規(guī)劃和操作的情況下，DRS的配置不影響虛擬機(jī)的正常運(yùn)行。

4 管理中心vCenter設(shè)計

管理軟件vCenter是整個虛擬化平臺管理控制的核心，考慮其考慮重要性和可管理性，我們設(shè)計把域控制器，vCenter服務(wù)器和數(shù)據(jù)庫服務(wù)器分離，邏輯架構(gòu)圖如下：

 

以上各組件說明：

 

vCenter服務(wù)器采用虛擬機(jī)部署方式，部署在該運(yùn)維區(qū)。建議配置如下：

 

vCenter與其數(shù)據(jù)庫分離，采用虛擬機(jī)形式安裝。這樣便于利用VMware的HA技術(shù)進(jìn)行保護(hù)，而且安裝后建議克隆vCenter服務(wù)器作為一個備份鏡像。數(shù)據(jù)庫每天使用Oracle備份工具備份vCenter數(shù)據(jù)，并在ESXi主機(jī)本地內(nèi)置磁盤上保留vCenter數(shù)據(jù)庫服務(wù)器的完整克隆。根據(jù)vCenter服務(wù)器所管理的ESXi主機(jī)與虛擬機(jī)的數(shù)量，估算vCenter數(shù)據(jù)庫的容量如下：

按約50臺ESXi主機(jī)和200臺虛擬機(jī)進(jìn)行預(yù)估，vCenter數(shù)據(jù)庫容量估算工具，請參考《VC Database Sizing Calculator》。

 

創(chuàng)建數(shù)據(jù)庫時，按照該容量的3倍進(jìn)行數(shù)據(jù)庫空間的預(yù)留，即50GB。

4.1 安裝vMA

VMware vSphere Management Assistant (vMA) 是VMware對外提供的工具。vMA 將 vSphere 命令行界面、vSphere SDK for Perl 以及日志記錄和身份驗(yàn)證模塊打包到一個方便的捆綁包中。vMA還可以托管第三方代理，以增強(qiáng)管理功能。

 

建議安裝vMA，并憑此工具對ESXi主機(jī)進(jìn)行集中管理。同時，vMA還配置成syslog日志服務(wù)器，用于管理ESXi主機(jī)的日志。由于ESXi主機(jī)發(fā)生紫屏死機(jī)，重啟后log就丟失，所以推薦配置syslog服務(wù)器，把日志轉(zhuǎn)儲。

從安全性考慮，不建議打開ESXi主機(jī)的SSH功能，如果需要命令行管理主機(jī)，可以使用vMA管理助手。

4.2 用戶、組、權(quán)限和角色

定義用戶、組、角色和權(quán)限能夠控制哪些用戶可以訪問 vSphere 受管對象以及這些用戶可以執(zhí)行哪些具體操作。vCenter Server 授權(quán)用戶是包括在 vCenter Server 引用的 Windows 域列表中的用戶，或者是 vCenter Server系統(tǒng)上的本地 Windows 用戶。

角色是一組預(yù)定義的特權(quán)。特權(quán)定義用戶執(zhí)行操作和讀取屬性所需的個人權(quán)限。當(dāng)給用戶或組分配權(quán)限時，將用戶或組與角色配對，并關(guān)聯(lián)與清單中某一受管對象，直接與vCenter服務(wù)器中的高層級的對象相關(guān)聯(lián)。

根據(jù)項(xiàng)目建設(shè)和未來運(yùn)營管理的實(shí)際需要，在建設(shè)初期，按照運(yùn)維管理的模式與需求，創(chuàng)建相關(guān)用戶、組和vCenter角色，并創(chuàng)建若干具有管理員權(quán)限的用戶。進(jìn)入運(yùn)營管理階段后，則刪除原具有管理員權(quán)限的用戶(保留Administrator),按照既定的用戶、組和vCenter角色設(shè)置，對vSphere進(jìn)行操作。

4.2.1 vCenter角色

 

4.2.2 vCenter服務(wù)器域用戶組

根據(jù)角色設(shè)置，在域控服務(wù)器創(chuàng)建域用戶組(如果使用新的用戶組來管理)，具體設(shè)置如下：

 

4.2.3 vCenter角色與用戶組關(guān)聯(lián)

在vCenter服務(wù)器最上層級()，做vCenter角色與用戶組的關(guān)聯(lián)。

4.3 vSphere監(jiān)控事件報警

借助事件監(jiān)控和報警系統(tǒng)，在vSphere、vCenter中將被配置以便監(jiān)控所有核心虛擬架構(gòu)的健康和性能內(nèi)容，包括ESXi主機(jī)、群集、HA、虛擬機(jī)操作如VMotion和vCenter自身的健康。

配置以下被監(jiān)視事件。條件和閥值配置細(xì)節(jié)如下：

 

當(dāng)以上告警觸發(fā)后，配置vCenter發(fā)送SNMP traps到網(wǎng)絡(luò)管理軟件;同時也將由郵件發(fā)送到相關(guān)負(fù)責(zé)人和所有vSphere企業(yè)管理組中。

vSphere企業(yè)管理組將定期負(fù)責(zé)審查和管理這些有vCentre、ESXi主機(jī)、虛擬機(jī)產(chǎn)生的健康和系統(tǒng)日志。這些日志將為企業(yè)的保留策略和程序做準(zhǔn)備和歸檔。

SNMP 接受端得配置如下表所示：

 

vCenter告警郵件轉(zhuǎn)發(fā)的SMTP配置如下表所示：

 

5 虛擬化網(wǎng)絡(luò)設(shè)計

XX銀行虛擬化網(wǎng)絡(luò)設(shè)計考慮了以下基本原則：

1)物理交換機(jī)和網(wǎng)卡均冗余配置;

2)充分利用分布式交換機(jī)的優(yōu)點(diǎn)，物理網(wǎng)卡上均設(shè)置為Active-Active模式，有效提高帶寬，負(fù)載均衡策略和故障切換策略;

3)物理交換機(jī)連接到ESXi主機(jī)的端口設(shè)置為Trunk訪問模式，允許VLAN訪問。

主機(jī)物理網(wǎng)卡布局示意圖如下：

 

每臺ESXi主機(jī)共配有2片(每片有4個網(wǎng)口)千兆網(wǎng)卡，ESXi主機(jī)自帶2個千兆網(wǎng)口，共有10個網(wǎng)口可用。在標(biāo)準(zhǔn)虛擬交換機(jī)中，為管理網(wǎng)絡(luò)、VMotion端口、iSCSI存儲和FT端口提供網(wǎng)絡(luò)服務(wù)。正式部署前，管理網(wǎng)絡(luò)和VMotion端口、iSCSI存儲和FT端口都需要分配好固定IP地址。兩片網(wǎng)卡交叉?zhèn)浞荩坏┣耙黄W(wǎng)卡或網(wǎng)絡(luò)鏈路出現(xiàn)故障，則自動切換到第二片網(wǎng)卡上運(yùn)行。

虛擬機(jī)業(yè)務(wù)網(wǎng)絡(luò)采用分布式交換機(jī)方式，使用主機(jī)自帶兩個網(wǎng)絡(luò)端口。在虛擬端口組中，這兩片網(wǎng)卡都處于活動狀態(tài)，虛擬機(jī)的業(yè)務(wù)流量按照實(shí)際物理流量規(guī)則進(jìn)行負(fù)載均衡，在這兩片網(wǎng)卡上進(jìn)行轉(zhuǎn)發(fā)。連接這兩塊網(wǎng)卡的物理交換機(jī)端口設(shè)置為TRUNK訪問模式，允許虛擬機(jī)業(yè)務(wù)VLAN通過。

對于生產(chǎn)業(yè)務(wù)區(qū)、管理區(qū)、網(wǎng)銀Web區(qū)、網(wǎng)銀App區(qū)的虛擬化網(wǎng)絡(luò)規(guī)劃如下圖：

 

管理區(qū)、生產(chǎn)區(qū)和網(wǎng)銀區(qū)ESXi主機(jī)網(wǎng)絡(luò)規(guī)劃表

 

注：運(yùn)維基礎(chǔ)區(qū)由于是一個集群承擔(dān)運(yùn)維和基礎(chǔ)業(yè)務(wù)兩種角色，并且運(yùn)維和基礎(chǔ)業(yè)務(wù)有各自的網(wǎng)段，其上承載的虛擬機(jī)不能互訪。所以需要把FT和iSCSI的備用網(wǎng)卡都拿出來到分布式交換機(jī)的vm network上，保證基礎(chǔ)業(yè)務(wù)和運(yùn)維每個網(wǎng)段都有兩張網(wǎng)卡可以接到各自的兩臺物理交換機(jī)上，保障物理設(shè)備和鏈路的冗余。

虛擬交換機(jī)配置:

 

分布式交換機(jī)的負(fù)載均衡選擇“基于物理網(wǎng)卡負(fù)載的路由”

 

應(yīng)客戶要求，如果以后網(wǎng)絡(luò)進(jìn)行萬兆改造，服務(wù)器上只有兩個網(wǎng)口，那么為了做到網(wǎng)絡(luò)隔離，推薦下列設(shè)計：

 

 

兩個網(wǎng)卡一個負(fù)責(zé)虛擬機(jī)網(wǎng)絡(luò)，另一個負(fù)責(zé)管理網(wǎng)絡(luò)和vmkernel應(yīng)用，二者互為主備。可以通過NIOC設(shè)置份額，讓各個vmkernel網(wǎng)絡(luò)按份額比例分配。

 

6 存儲規(guī)劃

6.1 設(shè)備連接冗余設(shè)計

存儲設(shè)備的高可用性非常重要，建議連接到共享存儲的每臺ESX主機(jī)配備兩塊HBA卡，并提供兩臺物理光纖交換機(jī)，避免單點(diǎn)故障。

 

ESXi主機(jī)安裝后可以管理多路徑，對于配備了兩個控制器的存儲，使用主動-主動控制器，路徑選擇策略可以是“固定”或“循環(huán)”策略。

 

6.2 共享存儲容量規(guī)劃

共享存儲總共規(guī)劃容量6T，由20個LUN構(gòu)成，每個大小300G。根據(jù)VMware實(shí)踐，推薦Datastore與Lun一一對應(yīng)，按照此規(guī)則各個集群數(shù)據(jù)存儲容量規(guī)劃方案如下：

 

6.3 存儲命名規(guī)范

本地存儲命名

• 三位：ESX主機(jī)名后三位;
• 一位：連接符“-”;
• 五位：固定字串“local”;
• 一位：連接符“-”;
• 二位：序號，從1開始。

例子：e01-local-01

共享存儲命名

• 群集后5位;
• 一位：連接符“-”;
• 五位：存儲類型標(biāo)識 “fc” – Fiber Channel SAN storage “iscsi” – iSCSI storage “nas” - NAS storage “vplex” - vplex storage
• 一位：連接符“-”;
• 二位：序號，從1開始。

示例：cls01-fc-01

7 備份規(guī)劃

vSphere Data Protection (VDP) 是一個基于磁盤的備份和恢復(fù)解決方案,可靠且易于部署。 vSphere Data Protection 與 VMware vCenter Server 完全集成,可以對備份作業(yè)執(zhí)行有效的集中式管理,同時將備份存儲在經(jīng)過重復(fù)數(shù)據(jù)消除的目標(biāo)存儲中。

7.1 vSphere Data Protection 具有優(yōu)勢

1 針對所有虛擬機(jī)提供快速有效的數(shù)據(jù)保護(hù),甚至可保護(hù)那些已關(guān)閉或在物理主機(jī)之間移動的虛擬機(jī)。

2 在所有備份上使用智能重復(fù)數(shù)據(jù)消除,從而可極大地減少備份數(shù)據(jù)所消耗的磁盤空間。

3 通過使用更改數(shù)據(jù)塊跟蹤和 VMware 虛擬機(jī)快照,降低了備份虛擬機(jī)的成本,盡可能地縮短了備份窗口。

4 可實(shí)現(xiàn)輕松備份,無需在每個虛擬機(jī)上安裝第三方代理。

5 可以作為集成組件簡單直接地安裝到 vSphere 中,可通過 Web 門戶進(jìn)行管理。

6 對 vSphere Data Protection 配置的直接訪問已集成到標(biāo)準(zhǔn)的 vSphere Web Client 中。

7 使用檢查點(diǎn)和回滾機(jī)制保護(hù)備份。

8 從基于 Web 的界面中,通過最終用戶啟動的文件級恢復(fù) (諸多限制)提供 Windows 和 Linux 文件的簡化恢復(fù)。

7.2 vSphere Data Protection 體系結(jié)構(gòu)

vSphere Data Protection (VDP) 使用 vSphere Web Client 和 vSphere Data Protection 應(yīng)用裝置將備份存儲到經(jīng)過重復(fù)數(shù)據(jù)消除的存儲中。

vSphere Data Protection 由一組在不同計算機(jī)上運(yùn)行的組件構(gòu)成 (如下圖所示)。

1 vSphere

2 vSphere Data Protection Appliance

3 vSphere Web Client

 

vSphere Data Protection 應(yīng)用裝置有三種選項(xiàng)可用:

 

建議XX銀行虛擬化數(shù)據(jù)中心采用2TB VDP類型。由于每個集群互不相通，所以每個集群各部署一個VDP Appliance。備份介質(zhì)可以使用NAS，在網(wǎng)絡(luò)設(shè)計部分已經(jīng)建立iSCSi端口，可以通過網(wǎng)絡(luò)進(jìn)行備份。虛擬機(jī)備份保留策略為每天一備，保留7天。

注：VDP是已虛擬機(jī)為最小單位的備份工具，對于虛擬機(jī)里面的應(yīng)用和Oracle數(shù)據(jù)庫不能單獨(dú)備份。建議客戶采用應(yīng)用和Oracle的專用備份工具對其備份。對于Lan-Free備份方式，可以咨詢Netapp和賽門鐵克等廠商。他們針對虛擬化平臺有對于的產(chǎn)品和解決方案可以把虛擬機(jī)備份到帶庫中。

8 虛擬機(jī)設(shè)計

8.1 安裝和配置VMware Tools

每臺虛擬機(jī)安裝好操作系統(tǒng)后，必須先安裝vmware tools。沒有vmware tools驅(qū)動，vsphere的一些功能將使用受限。

以下功能是僅當(dāng)安裝VMware Tools 時才可用的一些功能：

• 支持Aero 的操作系統(tǒng)上大大提升的圖形性能和Windows Aero 體驗(yàn)
• 在虛擬機(jī)與主機(jī)或客戶端桌面之間復(fù)制并粘貼文本、圖形和文件
• 改進(jìn)的鼠標(biāo)性能
• 虛擬機(jī)中的時鐘與主機(jī)或客戶端桌面上的時鐘同步
• 幫助自動執(zhí)行客戶機(jī)操作系統(tǒng)操作的腳本

安裝步驟請參考VMWare知識庫文檔：1014294

http://kb.vmware.com/selfservice/microsites/search.do?cmd=displayKC&docType=ex&bbid=TSEBB_1267116806002&url=&stateId=1%200%20125994156&dialogID=125988560&docTypeID=DT_KB_1_1&externalId=1014294&sliceId=1&rfId=

Installing VMware Tools in a Windows virtual machine (1018377)

Installing VMware Tools in an Ubuntu virtual machine (1022525)

Installing VMware Tools in a Novell virtual machine (1018299)

Installing VMware Tools in a Linux virtual machine using RPM (1018392)

Installing VMware Tools in a Linux virtual machine using Compiler (1018414)

Installing VMware Tools in a Solaris virtual machine (1023956)

8.2 虛擬機(jī)模板管理

虛擬機(jī)模板統(tǒng)一放置在運(yùn)維區(qū)，需要部署到其他區(qū)時候，進(jìn)行虛擬機(jī)克隆，導(dǎo)出ovf文件形式再導(dǎo)入到相應(yīng)區(qū)域進(jìn)行部署。

8.3 虛擬機(jī)磁盤格式選擇

虛擬磁盤有三種方式供給方式：

• 厚置備延遲置零(Thick Provision Lazy Zeroed)：以默認(rèn)的厚格式創(chuàng)建虛擬磁盤。創(chuàng)建虛擬磁盤時分配虛擬磁盤所需的空間。創(chuàng)建過程中不會清除物理設(shè)備上保留的數(shù)據(jù)，但以后初次從虛擬機(jī)寫入時則會按需置零。使用默認(rèn)的平面虛擬磁盤格式，不會根除或消除恢復(fù)已刪除文件或還原此已分配空間上可能存在的舊數(shù)據(jù)的可能性。無法將平面磁盤轉(zhuǎn)換為精簡磁盤。
• 厚置備置零(Thick Provision Eager Zeroed)：一種厚虛擬磁盤類型，可支持群集功能，如 Fault Tolerance。在創(chuàng)建時為虛擬磁盤分配所需的空間。與平面格式相反，創(chuàng)建虛擬磁盤時，會將物理設(shè)備上保留的數(shù)據(jù)置零。創(chuàng)建這種格式的磁盤所需的時間可能會比創(chuàng)建其他類型的磁盤長。
• 精簡置備(Thin Provision)：使用此格式可節(jié)省存儲空間。對于精簡磁盤，可以根據(jù)輸入的磁盤大小值置備磁盤所需的任意數(shù)據(jù)存儲空間。但是，精簡磁盤開始時很小，只使用與初始操作所需的大小完全相同的存儲空間。注意 如果虛擬磁盤支持群集解決方案(如 Fault Tolerance)，請勿將磁盤設(shè)置為精簡格式。如果精簡磁盤以后需要更多空間，它可以增長到其容量上限，并占據(jù)為其置備的整個數(shù)據(jù)存儲空間。而且，您可以將精簡磁盤手動轉(zhuǎn)換為厚磁盤。

建議將I/O負(fù)載較重的虛擬機(jī)分別駐留在不同的VMFS(LUN)上。

8.4 虛擬機(jī)文件系統(tǒng)選擇

VMFS 數(shù)據(jù)存儲是VMkernel處理磁盤的默認(rèn)方式;VMkernel對磁盤分區(qū)并進(jìn)行格式化，創(chuàng)建了VMFS文件系統(tǒng)的磁盤在vSphere中稱為數(shù)據(jù)存 儲，而且VMkernel能夠讀取磁盤，VMFS的優(yōu)勢是單個磁盤(在SAN中術(shù)語為LUN)能夠承載多個虛擬機(jī)。

有關(guān)每個LUN應(yīng)該承載 多少個虛擬機(jī)，平均數(shù)應(yīng)該是12(生產(chǎn)系統(tǒng)推薦8個，測試類系統(tǒng)可用16個)個虛擬機(jī)共享一個數(shù)據(jù)存儲。一個數(shù)據(jù)存儲能夠承載多個虛擬機(jī)及構(gòu)成虛擬機(jī)的所有文件。這些文件包括VMX文 件(該文件列出了虛擬機(jī)的硬件配置)和VMDK文件(虛擬機(jī)的硬盤以及構(gòu)成虛擬機(jī)的其他零散文件)。

使用RDM，VMkernel不會對LUN進(jìn)行格式化，而是由虛擬機(jī)客戶操作系統(tǒng)對LUN執(zhí)行格式化。每個RDM是一塊單獨(dú)的虛擬機(jī)硬盤，而且通常只關(guān)聯(lián)到單個虛擬機(jī)。RDM存儲虛擬機(jī)的磁盤內(nèi)容而非虛擬機(jī)文件，構(gòu)成虛擬機(jī)的文件需要存放在RDM之外的數(shù)據(jù)存儲上。

 

部署RDM通常基于RDM能夠提供更好的性能這一理念，因?yàn)槠溟_銷要比VMFS上的VMDK文件低。但是在某些情況下，RDM要比VMFS的性能還要差一些。

關(guān)于RDM配置，請參考官方文檔《vSphere 存儲》第18章“裸設(shè)備映射”一節(jié)。

注：除非軟件應(yīng)用有要求使用RDM，VMWare官方推薦客戶使用VMFS文件系統(tǒng)，可用充分利用虛擬化的一切特性。

8.5 虛擬機(jī)集群共享存儲配置

Virtual SCSI 適配器

集群的成員虛擬機(jī)必須選擇專用的SCSI適配器。參考官方文檔KB1037959

For example, if the system disk (drive C:) is attached to SCSI0:0, the first shared disk would be attached to SCSI1:0, and the data disk attached to SCSI1:1.

The shared storage SCSI adapter for Windows Server 2008 and higher must be the LSI Logic SAS type, while earlier Windows versions must use the LSI Logic Parallel type.

Disk configurations

•RDM: Configurations using shared storage for Quorum and/or Data must be on Fibre Channel (FC) based RDMs (physical mode for cluster across boxes "CAB", virtual mode for cluster in a box "CIB") in vSphere 5.1 and earlier. RDMs on storage other than FC (iSCSI and FCoE) are only supported in vSphere 5.5..

•VMFS: Virtual disks used as shared storage for clustered virtual machines must reside on VMFS datastores and must be created using the EagerZeroedThick option. This can be done using the vmkfstools command from the console, the vSphere CLI, or from the user interface. To create EagerZeroedThick storage with the vmkfstools command:

1.Log into the console of the host or launch the VMware vSphere CLI.

2.For example, to create a 10 GB file in datastore1 named myVMData.vmdk, run the command:

▪Using the console:vmkfstools –d eagerzeroedthick –c 10g /vmfs/volumes/datastore1/myVM/myVMData.vmdkNote: Replace 10g with the desired size.

▪Using the vSphere CLI:vmkfstools.pl –-server ESXHost –-username username --password passwd –d eagerzeroedthick –c 10g /vmfs/volumes/datastore1/myVM/myVMData.vmdk

•To create EagerZeroedThick storage with the user interface:

1.Using the vSphere Client, select the virtual machine for which you want to create the new virtual disk.

2.Right-click the virtual machine and click Edit Settings.

3.From the virtual machine properties dialog box, click Add to add new hardware.

4.In the Add Hardware dialog box, select Hard Disk from the device list.

5.Select Create a new virtual disk and click Next.

6.Select the disk size you want to create.

7.Select the datastore with the virtual machine or select a different datastore by clicking Specify a datastore and browsing to find the desired datastore.

8.To create an EagerZeroedThick disk, select Support clustering features such as Fault Tolerance.Note: Step 8 must be the last configuration step. Changes to datastores after selecting Support clustering features such as Fault Tolerance cause it to become deselected.

Complete the wizard to create the virtual disk.

根據(jù)以往經(jīng)驗(yàn)，如果數(shù)據(jù)庫的大小<800G，建議使用VMFS格式，如果數(shù)據(jù)庫大小>800G，可以考慮使用RDM方式。

需要設(shè)置的共享盤：心跳盤，數(shù)據(jù)庫用到的磁盤(NEC Cluster設(shè)置需要磁盤多宿主)。

在使用NEC Cluster時候，主應(yīng)用虛擬機(jī)允許遷移，但不設(shè)置回切。在主備虛擬機(jī)之間設(shè)置關(guān)聯(lián)規(guī)則：互斥，避免應(yīng)用雙機(jī)同時遷移到同一臺ESXi主機(jī)上。

設(shè)置NEC Cluster共享盤時， 心跳磁盤大小大于200M以上即可，使用VMFS方式。

設(shè)置集群IP時：分為Service IP(對外)，public IP(管理)，private IP(心跳)。Service IP與public IP在同一網(wǎng)段內(nèi)，private IP單獨(dú)規(guī)劃出一個網(wǎng)段，做到網(wǎng)絡(luò)隔離。

本文作者：趙海，曾在IBM、惠普中國等企業(yè)任軟件工程師、高級系統(tǒng)工程師，2013年加入IBM Devops Solution Team，參加云計算項(xiàng)目建設(shè)及部署，以及后期的咨詢及解決方案提供工作。2014年加入某城商銀行系統(tǒng)規(guī)劃設(shè)計中心，任系統(tǒng)架構(gòu)師，專注于銀行數(shù)據(jù)中心解決方案規(guī)劃及設(shè)計工作。