[[321377]]

前言

隨著企業(yè)業(yè)務(wù)應(yīng)用的拓展和業(yè)務(wù)數(shù)據(jù)不斷增長(zhǎng)，作為 IT 基礎(chǔ)架構(gòu)的重要組成，存儲(chǔ)系統(tǒng)不僅面臨著存儲(chǔ)容量與性能提升的需求，還需要適應(yīng)系統(tǒng)架構(gòu)的變化。由于系統(tǒng)架構(gòu)越來(lái)越復(fù)雜、數(shù)據(jù)類型越來(lái)越多樣性，存儲(chǔ)替換遷移工作也需要越來(lái)越細(xì)致。為了高效、安全、完整地完成存儲(chǔ)替換遷移任務(wù)，我們需要結(jié)合不同存儲(chǔ)及各自系統(tǒng)特點(diǎn)有策略地開(kāi)展遷移相關(guān)的工作。

數(shù)據(jù)遷移方法

存儲(chǔ)替換遷移其實(shí)也是一個(gè)數(shù)據(jù)遷移的過(guò)程，首先我們需要先了解下常用的存儲(chǔ)數(shù)據(jù)遷移技術(shù)，其實(shí)現(xiàn)方法可以大致分為如下幾類：

1) 基于應(yīng)用軟件層的數(shù)據(jù)遷移

這種方法一般采用應(yīng)用軟件自身的遷移程序或其他第三方遷移工具來(lái)實(shí)現(xiàn)數(shù)據(jù)遷移。比較典型的比如 Oracle 數(shù)據(jù)同步工具 DataGuard ，數(shù)據(jù)庫(kù)的備份恢復(fù)程序等等數(shù)據(jù)同步或復(fù)制方法。這類方法的優(yōu)勢(shì)在于可以定制化數(shù)據(jù)遷移的過(guò)程，不受限于主機(jī)、存儲(chǔ)，但是只適用于特定的應(yīng)用。

2) 基于主機(jī)系統(tǒng)層的數(shù)據(jù)遷移

這種方法是通過(guò)主機(jī)系統(tǒng)層的數(shù)據(jù)拷貝或遷移來(lái)實(shí)現(xiàn)數(shù)據(jù)的遷移的。比較典型的比如虛擬化環(huán)境中的 VMotion 遷移數(shù)據(jù)存儲(chǔ)，或者通過(guò)支持 LVM 的系統(tǒng)的邏輯卷鏡像來(lái)實(shí)現(xiàn)數(shù)據(jù)遷移。這類方法優(yōu)勢(shì)在于可以方便的在線遷移，但缺點(diǎn)是主機(jī)系統(tǒng)層較復(fù)雜的情況下，需要消耗較多的精力完成遷移所需的系統(tǒng)配置。

3) 基于存儲(chǔ)層的數(shù)據(jù)遷移

這種方法一般采用兩種方法來(lái)實(shí)現(xiàn)：一是借助存儲(chǔ)虛擬化技術(shù)來(lái)很方便地實(shí)現(xiàn)數(shù)據(jù)遷移，比較典型的產(chǎn)品是 VPLEX 或 SVC 這類的存儲(chǔ)虛擬化設(shè)備，或者自帶存儲(chǔ)虛擬化技術(shù)的存儲(chǔ)陣列比如 HDS VSP 等，存儲(chǔ)虛擬化則是在服務(wù)器與存儲(chǔ)之間插入一個(gè)中間層，通過(guò)存儲(chǔ)虛擬邏輯卷的可以實(shí)現(xiàn)類似于異構(gòu)存儲(chǔ)系統(tǒng)間的數(shù)據(jù)鏡像等功能，這樣只需要在存儲(chǔ)虛擬化層創(chuàng)建鏡像再拆除鏡像，就可以更加高效的完成存儲(chǔ)間的數(shù)據(jù)遷移;二是通過(guò)存儲(chǔ)自帶的數(shù)據(jù)復(fù)制軟件或支持的數(shù)據(jù)復(fù)制工具，完成存儲(chǔ)卷的復(fù)制，一般在同類型的存儲(chǔ)系統(tǒng)中完成。基于存儲(chǔ)的數(shù)據(jù)遷移的優(yōu)勢(shì)在于不受主機(jī)層、應(yīng)用層限制，遷移效率更高。

存儲(chǔ)替換遷移實(shí)踐案例

以本人曾參與的存儲(chǔ)替換遷移工作為例，某銀行同城雙機(jī)房原有 7 套高端存儲(chǔ)及兩套 VPLEX 設(shè)備，其中生產(chǎn)機(jī)房 5 臺(tái)存儲(chǔ)按照數(shù)據(jù)類型分為 2 個(gè)區(qū)域：交易域和數(shù)據(jù)域，交易域存放交易類數(shù)據(jù)，數(shù)據(jù)域存放統(tǒng)計(jì)分析類數(shù)據(jù)，災(zāi)備機(jī)房則是 2 臺(tái)存儲(chǔ)組成災(zāi)備域。其存儲(chǔ)架構(gòu)如下圖所示：

而主機(jī)系統(tǒng)則包括了 IBM 小型機(jī)、 X86 服務(wù)器以及 VMWare 虛擬機(jī)等多種類型的系統(tǒng)架構(gòu)，應(yīng)用則包括 DB2 、 ORACLE 等數(shù)據(jù)庫(kù)以及其他關(guān)鍵業(yè)務(wù)應(yīng)用。

由于業(yè)務(wù)數(shù)據(jù)量的迅速增長(zhǎng)等多種因素，原有的存儲(chǔ)架構(gòu)存在著存儲(chǔ)替換、擴(kuò)容以及分域規(guī)劃等需求，并確立了三個(gè)新的存儲(chǔ)體系規(guī)劃建設(shè)目標(biāo)：一是數(shù)據(jù)域和交易域的存儲(chǔ)需要隔離分開(kāi);二是這三個(gè)存儲(chǔ)區(qū)域都需要擴(kuò)容;三個(gè)需要實(shí)施存儲(chǔ)鏡像，消除存儲(chǔ)單點(diǎn)隱患。最終，通過(guò)在數(shù)據(jù)域另外引入一套 SVC 設(shè)備，其他三個(gè)存儲(chǔ)域各新增一臺(tái)存儲(chǔ)設(shè)備，并通過(guò)存儲(chǔ)間的替換遷移實(shí)現(xiàn)最終的架構(gòu)規(guī)劃。

遷移難點(diǎn)分析

存儲(chǔ)替換遷移本質(zhì)上是一個(gè)通過(guò)數(shù)據(jù)遷移技術(shù)完成存儲(chǔ)設(shè)備之間的數(shù)據(jù)遷移，并將原有的數(shù)據(jù)存儲(chǔ)路徑切換為新的存儲(chǔ)路徑的實(shí)施過(guò)程。結(jié)合該銀行存儲(chǔ)替換遷移的案例來(lái)看，存儲(chǔ)替換遷移的難點(diǎn)可以大致總結(jié)為如下幾點(diǎn)：

1) 遷移方法的選擇

各種數(shù)據(jù)遷移方法都有各自的優(yōu)缺點(diǎn)，也適用于不同的數(shù)據(jù)遷移需求和遷移場(chǎng)景。在該銀行存儲(chǔ)替換遷移案例中，存儲(chǔ)方面涉及到了多個(gè)廠家多種型號(hào)的存儲(chǔ)系統(tǒng)，另外主機(jī)層面和應(yīng)用層面的架構(gòu)也不統(tǒng)一，而且涉及到幾乎全行的業(yè)務(wù)系統(tǒng)，存儲(chǔ)替換遷移整體的工作量也較大，具體該如何選擇存儲(chǔ)層的數(shù)據(jù)遷移方案。

2) 遷移時(shí)間窗口控制

由于待遷移的存儲(chǔ)容量較大或者涉及的系統(tǒng)較多或者遷移方法所限，整個(gè)遷移工作可能會(huì)持續(xù)較長(zhǎng)時(shí)間。特別是本案例中，部分待遷移系統(tǒng)的業(yè)務(wù)連續(xù)性要求較高，停機(jī)窗口都有一些限制。所以怎么去控制遷移時(shí)間窗口，做好遷移計(jì)劃也很關(guān)鍵。

3) 遷移影響性分析

存儲(chǔ)的替換遷移不僅僅涉及到存儲(chǔ)設(shè)備自身，還與系統(tǒng)以及其上運(yùn)行的應(yīng)用也密不可分。整個(gè)遷移過(guò)程中會(huì)給哪些系統(tǒng)帶來(lái)怎樣的影響，會(huì)持續(xù)多長(zhǎng)時(shí)間，這些也是系統(tǒng)管理員需要充分評(píng)估的，并需要與其他同事溝通清楚的點(diǎn)。

4) 遷移的風(fēng)險(xiǎn)控制

存儲(chǔ)的替換遷移總是存在一定安全風(fēng)險(xiǎn)，如遷移失敗、數(shù)據(jù)不一致或丟失等等情況。這就涉及到了如何回退操作，控制遷移風(fēng)險(xiǎn)。另外存儲(chǔ)替換遷移后，數(shù)據(jù)又是否需要校驗(yàn)，數(shù)據(jù)的完整性要求又如何保證等等風(fēng)險(xiǎn)。

應(yīng)對(duì)策略

那么存儲(chǔ)替換遷移工作又改如何開(kāi)展，來(lái)應(yīng)對(duì)上述的遷移難點(diǎn)呢?本文還將結(jié)合上述案例以及個(gè)人的存儲(chǔ)替換遷移實(shí)踐經(jīng)驗(yàn)，來(lái)談?wù)劸唧w的應(yīng)對(duì)策略：

1) 存儲(chǔ)架構(gòu)的提前規(guī)劃

首先我們需要明確存儲(chǔ)替換遷移的目的，一般存儲(chǔ)替換遷移都帶著明確的目標(biāo)，比如舊設(shè)備更新?lián)Q代，比如架構(gòu)規(guī)劃調(diào)整等等。對(duì)于設(shè)備更新?lián)Q代的，我們需要在存儲(chǔ)規(guī)劃之初就應(yīng)該確定如何兼顧更新?lián)Q代與存儲(chǔ)遷移的需求，更早地規(guī)劃好存儲(chǔ)架構(gòu);對(duì)于架構(gòu)規(guī)劃調(diào)整的，我們也需要提前做好規(guī)劃，在架構(gòu)規(guī)劃調(diào)整與存儲(chǔ)替換遷移之間找到平衡點(diǎn)。提前做好存儲(chǔ)規(guī)劃，選擇替換遷移阻力最小的方向，盡量減少系統(tǒng)的改造量

在本文的案例中，考慮到在線遷移需求且遷移數(shù)據(jù)量較大的情況，我們基本鎖定了存儲(chǔ)層的數(shù)據(jù)遷移方法。另外由于涉及到多廠商異構(gòu)存儲(chǔ)和存儲(chǔ)鏡像雙活技術(shù)，存儲(chǔ)虛擬化技術(shù)成了唯一選項(xiàng)。但如果全部接入到原 VPLEX 設(shè)備下，還會(huì)存在無(wú)法滿足存儲(chǔ)分域及 VPLEX 性能不足等情況。所以最終的存儲(chǔ)規(guī)劃方案設(shè)計(jì)為在數(shù)據(jù)域另外引入一套 SVC 設(shè)備，其他三個(gè)存儲(chǔ)域各新增一臺(tái)存儲(chǔ)設(shè)備，并通過(guò)存儲(chǔ)替換遷移實(shí)現(xiàn)最終的架構(gòu)規(guī)劃，如下圖所示：

2) 遷移測(cè)試及分析

在正式遷移前，設(shè)計(jì)好遷移測(cè)試方案，并能完整模擬整個(gè)遷移過(guò)程，是一項(xiàng)很有意義的工作。在本文的案例中，遷移測(cè)試的內(nèi)容主要包括異構(gòu)存儲(chǔ)接入 SVC 納管的功能測(cè)試、原 VPLEX 環(huán)境下主機(jī)遷移到 SVC 的改造測(cè)試以及虛擬存儲(chǔ)卷數(shù)據(jù)遷移速度等測(cè)試。這可以讓我們更熟悉遷移方法和流程，是下一步工作的基礎(chǔ)。結(jié)合遷移測(cè)試的數(shù)據(jù)，我們可以估算遷移造成的影響以及大致的遷移時(shí)間窗口。

同時(shí)遷移測(cè)試也能驗(yàn)證遷移方法的有效性，綜合對(duì)比各種遷移方法的優(yōu)劣，結(jié)合實(shí)際環(huán)境，選出最優(yōu)的替換遷移方法。以 NAS 存儲(chǔ)遷移為例，之前實(shí)施過(guò)一個(gè)文件數(shù)接近 3000 萬(wàn)的 NAS 文件系統(tǒng)，目標(biāo) NAS 存儲(chǔ)是 isilon ，原本考慮到文件權(quán)限等因素，計(jì)劃采用的是主機(jī)層面 rsync 數(shù)據(jù)同步工具來(lái)同步的，但是同步速度很慢，預(yù)估需要 5 天時(shí)間才能完成數(shù)據(jù)同步。后來(lái)測(cè)試了下 isilon 內(nèi)置的基于 NDMP 協(xié)議的數(shù)據(jù)遷移工具，發(fā)現(xiàn)遷移速度更快，且文件權(quán)限也能遷移過(guò)來(lái)，最終 30 多個(gè)小時(shí)就能遷移完成。

3) 遷移前的環(huán)境檢查與影響性分析

環(huán)境檢查也是替換遷移重要的一步，對(duì)替換遷移所涉及的系統(tǒng)，都需要做進(jìn)一步的健康性檢查。在本文的存儲(chǔ)替換遷移案例中， SVC 接入改造涉及到了多個(gè)數(shù)據(jù)域系統(tǒng)的停機(jī)維護(hù)變更，這些系統(tǒng)主要是 DB2 結(jié)合 PowerHA 的高可用架構(gòu) , 也有 GPFS 文件系統(tǒng)集群應(yīng)用。而待遷移改造系統(tǒng)本身的操作系統(tǒng)問(wèn)題或 PowerHA 配置存在的問(wèn)題，也給 SVC 接入改造工作帶來(lái)了不小的麻煩。

所以遷移前的環(huán)境檢查主要是從兩方面考慮的：一是為了避免本身系統(tǒng)隱患在替換遷移中徹底暴露出來(lái)，比如說(shuō)系統(tǒng)本身高可用或集群配置存在隱患，在存儲(chǔ)替換遷移中可能會(huì)大大影響變更的實(shí)施進(jìn)度，需要花費(fèi)大量的精力來(lái)解決這類問(wèn)題;二是可以摸清存儲(chǔ)遷移替換變更的影響范圍，結(jié)合遷移測(cè)試的部分，進(jìn)一步分析遷移替換對(duì)整個(gè)系統(tǒng)的影響性，有利于把控存儲(chǔ)替換遷移的風(fēng)險(xiǎn)。

4) 制定合理的遷移替換計(jì)劃

合理的遷移替換計(jì)劃是存儲(chǔ)替換遷移工作中最關(guān)鍵的一個(gè)環(huán)節(jié)，在通過(guò)上述的三個(gè)關(guān)鍵環(huán)節(jié)的鋪墊之后，還需要制定具體的存儲(chǔ)遷移替換計(jì)劃。其主要包括如下的幾個(gè)部分工作：

制定遷移批次及遷移時(shí)間計(jì)劃

前文提到，存儲(chǔ)替換遷移很多時(shí)候會(huì)涉及到較大的數(shù)據(jù)量，架構(gòu)眾多復(fù)雜的系統(tǒng)以及停機(jī)時(shí)間窗口限制。那么合理的規(guī)劃遷移批次，估算每個(gè)批次的遷移時(shí)間是必要的應(yīng)對(duì)策略。在具體遷移批次規(guī)劃方面，我們可能設(shè)置很多規(guī)則，但是總體來(lái)說(shuō)，要考慮遷移的工作量的合理分配，要考慮盡量減少停機(jī)時(shí)間窗口和停機(jī)頻次，還要考慮人員資源的分配。

在本文的案例中，存儲(chǔ)替換遷移工作主要是數(shù)據(jù)類系統(tǒng) SVC 接入改造、存儲(chǔ)間的數(shù)據(jù)遷移這兩類工作。而 VC 接入改造工作的難點(diǎn)在于涉及到 10 套系統(tǒng)環(huán)境的改造，都需要做停機(jī)維護(hù)，所以最終根據(jù)停機(jī)時(shí)間窗口及整體工作量分了三個(gè)批次來(lái)遷移改造;存儲(chǔ)間的數(shù)據(jù)遷移主要是通過(guò) SVC 或 VPLEX 的雙活鏡像來(lái)實(shí)現(xiàn)的，但是涉及的存儲(chǔ)卷較多，遷移的數(shù)據(jù)量接近 80T ，最終對(duì)每批次的遷移數(shù)據(jù)量做了平衡，同樣也計(jì)劃了三個(gè)批次的存儲(chǔ)間數(shù)據(jù)遷移。

遷移前準(zhǔn)備

針對(duì)每個(gè)批次的數(shù)據(jù)遷移，我們需要做好遷移前準(zhǔn)備。考慮存儲(chǔ)數(shù)據(jù)的重要性以及遷移變更存在的極端異常情況，數(shù)據(jù)備份是遷移前不可忽視的部分。數(shù)據(jù)備份的范圍一定要盡可能的考慮周詳，不同類型的數(shù)據(jù)采用不同的備份方式，比如應(yīng)用配置信息、集群配置信息、數(shù)據(jù)庫(kù)備份、數(shù)據(jù)備份等等。另外數(shù)據(jù)備份要保證可恢復(fù)性，同時(shí)也是有時(shí)效性的，哪些數(shù)據(jù)相對(duì)靜態(tài)，哪些是增量數(shù)據(jù)，如何保證數(shù)據(jù)能盡可能地恢復(fù)到遷移前的時(shí)間點(diǎn)，都是需要重點(diǎn)考慮的。

人員協(xié)調(diào)

存儲(chǔ)替換遷移是基礎(chǔ)架構(gòu)層面比較重要的調(diào)整動(dòng)作，很多時(shí)候不是單個(gè)個(gè)體的力量就能很妥善的完成的，需要學(xué)會(huì)借力，協(xié)調(diào)各方面的資源參與進(jìn)來(lái)。像本文的案例中這樣的存儲(chǔ)替換遷移工作，除了存儲(chǔ)管理方面的工作外，還涉及到了操作系統(tǒng)層的配置、數(shù)據(jù)庫(kù)的啟停和備份、應(yīng)用的啟停和驗(yàn)證等等工作。所以，從前期制定遷移計(jì)劃開(kāi)始，到遷移方案的評(píng)審，再到遷移工作的開(kāi)展，盡可能讓更多的人員參與進(jìn)來(lái)，讓參與人員了解遷移工作的整個(gè)流程。這樣不僅給方案的提出更多寶貴的合理性建議，也能減少遷移工作的阻力，集思廣益，讓存儲(chǔ)替換遷移工作更加順利的推進(jìn)。

遷移順序和操作流程

在做好上述工作之后，制定具體的遷移順序和操作流程會(huì)更加容易。下表是 SVC 遷移改造的操作流程模板，可供參考：

一般來(lái)說(shuō)，需要將遷移所涉及的工作主要包括準(zhǔn)備工作、系統(tǒng)啟停、數(shù)據(jù)遷移、存儲(chǔ)割接、系統(tǒng)驗(yàn)證、應(yīng)用驗(yàn)證等待。我們還需要對(duì)這些工作進(jìn)行原子化細(xì)分，詳細(xì)分析每個(gè)步驟所需時(shí)間，考慮遷移工作的關(guān)聯(lián)關(guān)系，梳理出哪些工作是串行的，哪些工作是可以并行的，做到科學(xué)地人員工作分配，減少遷移工作中本來(lái)就緊張的時(shí)間窗口下的等待時(shí)間。

應(yīng)急方案

應(yīng)急預(yù)案和回退方案是每個(gè)變更操作必須充分考慮的，在實(shí)際存儲(chǔ)替換遷移工作的過(guò)程中，依然會(huì)存在很多實(shí)施前未充分論證的細(xì)節(jié)，比如數(shù)據(jù)替換遷移過(guò)程中，由于各種原因遷移命令執(zhí)行失敗，比如系統(tǒng) HA 或者某個(gè)應(yīng)用起不來(lái)等等異常情況。這些異常情況除了臨場(chǎng)的應(yīng)對(duì)解決之外，還需要我們能事前制定完整的存儲(chǔ)替換遷移的應(yīng)急預(yù)案和回退方案。一旦在計(jì)劃時(shí)間內(nèi)無(wú)法解決異常問(wèn)題，需要果斷采取應(yīng)急預(yù)案和回退方案，畢竟數(shù)據(jù)丟失或者存儲(chǔ)不可用會(huì)造成極其惡劣的影響。

善后工作

由于遷移工作本身就占用較多的精力以及善后工作可能會(huì)拉長(zhǎng)時(shí)間周期，存儲(chǔ)替換遷移的善后工作很多時(shí)候會(huì)被忽視。在本文案例中的存儲(chǔ)替換工作，善后工作主要包括：一是數(shù)據(jù)完整性、一致性驗(yàn)證工作，比如替換前后數(shù)據(jù)庫(kù)信息的校對(duì)，文件系統(tǒng)則可以統(tǒng)計(jì)文件 inode 數(shù)和文件 MD5 校驗(yàn);二是舊配置信息或者臨時(shí)配置信息清理工作，配置信息是否暫時(shí)保留，保留多久，一般來(lái)說(shuō)舊的存儲(chǔ)配置信息都是在變更實(shí)施的第二天才做清理，主要是方便回退;三是存儲(chǔ)替換遷移前后的對(duì)比，替換遷移是否達(dá)到了遷移工作的預(yù)期，比如可以觀察遷移前后的批處理作業(yè)或其他性能監(jiān)控指標(biāo)。這些工作有些是遷移完成后就必須開(kāi)展的，有些是需要觀察期的，都需要我們?nèi)ヂ鋵?shí)完成的，否則會(huì)留下各種隱患，存儲(chǔ)替換遷移工作的質(zhì)量也得不到保證。

結(jié)語(yǔ)

存儲(chǔ)替換遷移是一項(xiàng)涉及到了存儲(chǔ)、操作系統(tǒng)、應(yīng)用系統(tǒng)、數(shù)據(jù)庫(kù)等等不同類型系統(tǒng)的工作，需要靈活應(yīng)對(duì)不同的數(shù)據(jù)遷移需求。本文首先介紹了常用的數(shù)據(jù)遷移方法，再結(jié)合某銀行存儲(chǔ)體系規(guī)劃建設(shè)的實(shí)踐工作，分析存儲(chǔ)替換遷移過(guò)程中存在的難點(diǎn)、風(fēng)險(xiǎn)點(diǎn)，并具體解析其應(yīng)對(duì)策略，包括存儲(chǔ)架構(gòu)規(guī)劃、制定遷移計(jì)劃、遷移測(cè)試、遷移流程以及回退方案等方面工作，也希望給同行在存儲(chǔ)替換遷移工作方面提供一種借鑒。

作者介紹

陳萍春，現(xiàn)就職于保險(xiǎn)行業(yè)，擁有多年的系統(tǒng)、存儲(chǔ)以及數(shù)據(jù)備份等運(yùn)維工作經(jīng)驗(yàn)。