[[431058]]

一、對象存儲(chǔ)基本知識(shí)

對象存儲(chǔ)，也稱為“面向?qū)ο蟮拇鎯?chǔ)”，英文是Object-based Storage。有時(shí)也直接稱之為“云存儲(chǔ)”。

對象存儲(chǔ)和傳統(tǒng)的存儲(chǔ)有著本質(zhì)的區(qū)別。DAS和SAN是基于物理塊的存儲(chǔ)方式，操作對象是磁盤。存儲(chǔ)協(xié)議是SCSI、iSCSI、FC。以SCSI為例，主要接口命令有Read/Write/ReadCapacity/Inquiry等，而NAS是基于文件的存儲(chǔ)方式，操作對象是文件和文件夾。存儲(chǔ)協(xié)議是NFS、SAMBA(SMB)、POSIX等，文件相關(guān)的接口命令包括：READ/WRITE/CREATE/REMOVE/RENAME/LOOKUP/ACCESS等，文件夾相關(guān)的接口命令包括：MKDIR/RMDIR/READDIR等。對象存儲(chǔ)的底層硬件介質(zhì)依然是硬盤，和塊存儲(chǔ)、文件存儲(chǔ)沒有區(qū)別，但它主要操作對象是對象(Object)，存儲(chǔ)協(xié)議是S3、Swift等，主要接口命令有PUT/GET/DELETE等。

由于對象存儲(chǔ)操作的是對象，相對于傳統(tǒng)存儲(chǔ)來說并沒有完整的文件的概念，因此在對象存儲(chǔ)不支持直接打開/修改文件等操作，只能先下載、修改，再上傳文件。

圖1:對象存儲(chǔ)中文件的基本訪問方式

對象存儲(chǔ)呈現(xiàn)出來的是一個(gè)“桶”(bucket)，文件以對象的形式存儲(chǔ)在對象存儲(chǔ)中。對象包括三個(gè)部分：Key、Data、Metadata。

圖2：對象存儲(chǔ)桶存儲(chǔ)示意圖

Key可以理解文件名，是該對象的全局唯一標(biāo)識(shí)符(UID)。Data用戶數(shù)據(jù)本體。Metadata叫做元數(shù)據(jù)，類似數(shù)據(jù)的標(biāo)簽，是對象的各種描述信息。在傳統(tǒng)的文件存儲(chǔ)里，這類信息屬于文件本身，和文件一起封裝存儲(chǔ)。而對象存儲(chǔ)中，元數(shù)據(jù)是獨(dú)立出來的，并不在數(shù)據(jù)內(nèi)部封裝。元數(shù)據(jù)的好處非常明顯，可以大大加快對象的排序，還有分類和查找。

二、對象存儲(chǔ)優(yōu)點(diǎn)

容量無限大

對象存儲(chǔ)的容量是EB級以上，硬盤普遍是TB級別，1EB約等于1TB的一百萬倍。對象存儲(chǔ)的所有業(yè)務(wù)、存儲(chǔ)節(jié)點(diǎn)采用分布式集群方式工作，各功能節(jié)點(diǎn)、集群都可以獨(dú)立擴(kuò)容。

數(shù)據(jù)安全可靠

對象存儲(chǔ)采用了分布式架構(gòu)，可支持多副本多設(shè)備冗余部署或糾刪碼方式多節(jié)點(diǎn)部署，實(shí)現(xiàn)異地容災(zāi)和資源隔離。數(shù)據(jù)訪問方面，所有的桶和對象都有ACL等訪問控制策略，所有的連接都支持SSL加密，OBS系統(tǒng)會(huì)對訪問用戶進(jìn)行身份鑒權(quán)。因?yàn)閿?shù)據(jù)是分片存儲(chǔ)在不同硬盤上的，所以即使有壞人偷了硬盤，也無法還原出完整的對象數(shù)據(jù)。

使用方便

使用對象存儲(chǔ)數(shù)據(jù)的存取方法非常靈活多樣。除了可以使用網(wǎng)頁(基于http)直接訪問之外，大部分云服務(wù)提供商都有自己的圖形化界面客戶端工具，用戶存取數(shù)據(jù)就像用網(wǎng)盤一樣。

三、對象存儲(chǔ)特點(diǎn)

由于對象存儲(chǔ)的訪問特性，需要把整個(gè)文件取出來，修改完成再放回去，因此并不適合存儲(chǔ)需要頻繁擦寫的數(shù)據(jù)(比如聯(lián)機(jī)交易數(shù)據(jù)庫的數(shù)據(jù))，對象存儲(chǔ)主要應(yīng)用在低頻訪問類型和歸檔類型應(yīng)用上。由于分布式多節(jié)點(diǎn)部署，在各節(jié)點(diǎn)之間需要保持?jǐn)?shù)據(jù)的一致性，因此也不太適用于存儲(chǔ)對一致性要求比較高的聯(lián)機(jī)交易數(shù)據(jù)。

四、影像平臺(tái)引入對象存儲(chǔ)的背景

G行影像業(yè)務(wù)平臺(tái)始建于2007年，系統(tǒng)最初的主要目標(biāo)是為客戶證件影像圖片、客戶合同單據(jù)影像文件、網(wǎng)點(diǎn)單據(jù)縮微影像文件、各類業(yè)務(wù)報(bào)表文件等非結(jié)構(gòu)化數(shù)據(jù)文件提供存儲(chǔ)和管理。但是隨著業(yè)務(wù)的高速發(fā)展，以及系統(tǒng)運(yùn)行時(shí)間的增加，影像平臺(tái)面臨以下困難和挑戰(zhàn)：

01業(yè)務(wù)應(yīng)用場景多樣化

業(yè)務(wù)需求已經(jīng)從最初的圖片文件和報(bào)表文件，逐漸向音頻、視頻演進(jìn)，對存儲(chǔ)的需求量急速增長，到目前為止，影像平臺(tái)存儲(chǔ)管理的非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)達(dá)到600余T，預(yù)估還將以每年100T的數(shù)據(jù)快速增長，高速增長的海量數(shù)據(jù)正在給影像平臺(tái)造成越來越大的存儲(chǔ)和管理壓力，急需大容量存儲(chǔ)技術(shù)支持。

02系統(tǒng)升級難度大，容量風(fēng)險(xiǎn)高

為了管理海量數(shù)據(jù)，G行影像業(yè)務(wù)平臺(tái)基于某內(nèi)容管理產(chǎn)品搭建。影像文件需要長期在線保存，文件管理規(guī)模隨著系統(tǒng)運(yùn)行時(shí)間的增加而快速增長，當(dāng)內(nèi)容管理產(chǎn)品版本更新時(shí)，舊版本產(chǎn)品中的文件遷移難度太大，因此采用新建庫升級的模式，先后搭建了A類歷史庫、A類在線庫和C類在線庫，各個(gè)庫之前的產(chǎn)品版本無法保持一致，低版本產(chǎn)品無法及時(shí)進(jìn)行更換，相應(yīng)的服務(wù)器、操作系統(tǒng)、數(shù)據(jù)庫等均無法進(jìn)行及時(shí)升級，升級難度較大，系統(tǒng)長期處于容量中風(fēng)險(xiǎn)。

圖3：影像平臺(tái)擴(kuò)充建設(shè)示意圖

03維護(hù)和擴(kuò)容成本高，風(fēng)險(xiǎn)大

影像平臺(tái)目前使用的SAN和NAS存儲(chǔ)、擴(kuò)容能力受限，擴(kuò)容成本高。隨著管理內(nèi)容不斷增加，主機(jī)服務(wù)器上掛載的磁盤數(shù)量越來越多，在系統(tǒng)切換，服務(wù)器重啟過程中，需要對磁盤進(jìn)行逐一掛載，耗時(shí)較長，無法滿足系統(tǒng)在應(yīng)急情況下的快速災(zāi)備切換要求。隨著新建內(nèi)容庫的增多，系統(tǒng)體量逐漸變大，應(yīng)用系統(tǒng)部署架構(gòu)變得越來越復(fù)雜，維護(hù)難度大。

04產(chǎn)品支持存在風(fēng)險(xiǎn)

系統(tǒng)使用的內(nèi)容管理產(chǎn)品幾經(jīng)轉(zhuǎn)售，目前屬于某國外產(chǎn)品的子產(chǎn)品，產(chǎn)品的售后服務(wù)支持延續(xù)性缺乏穩(wěn)定性，存在一定的風(fēng)險(xiǎn)。且隨著產(chǎn)品的升級換代，目前歷史庫使用版本老舊，該版本廠商的支持力度很有限，產(chǎn)品運(yùn)行風(fēng)險(xiǎn)逐漸增加。

為了解決影像平臺(tái)系統(tǒng)面臨的上述問題，降低對特定產(chǎn)品的依賴，降低系統(tǒng)運(yùn)行風(fēng)險(xiǎn)，簡化系統(tǒng)部署架構(gòu)，降低運(yùn)維難度，降低數(shù)據(jù)存儲(chǔ)成本，急需對我行影像平臺(tái)進(jìn)行改造優(yōu)化。綜合考慮影像文件存儲(chǔ)體量大，文件生成后修改和變動(dòng)的概率較小，大部分處于靜態(tài)只讀狀態(tài)，需要長期保存的這些特點(diǎn)，與對象存儲(chǔ)的產(chǎn)品特性契合度較高，經(jīng)過充分評估和測試，2019年我行決定在影像平臺(tái)引進(jìn)某國產(chǎn)品牌分布式對象存儲(chǔ)，提供輕量級標(biāo)準(zhǔn)化存儲(chǔ)層訪問協(xié)議，解決目前非結(jié)構(gòu)化數(shù)據(jù)的擴(kuò)容能力瓶頸，并進(jìn)行部分業(yè)務(wù)的試用。

五、改造優(yōu)化現(xiàn)狀

為了順利完成平臺(tái)的改造優(yōu)化，針對對象存儲(chǔ)的使用，影像平臺(tái)制定以下實(shí)施原則：

• 非關(guān)鍵業(yè)務(wù)先行試用
• 穩(wěn)步推進(jìn)，逐漸推廣
• 新舊并存，穩(wěn)定為主

2019年以來，影像業(yè)務(wù)平臺(tái)對象存儲(chǔ)改造優(yōu)化一共完成了以下3方面工作：

01產(chǎn)品引入:分布式對象存儲(chǔ)產(chǎn)品部署

推進(jìn)硬件設(shè)備進(jìn)場，完成相關(guān)功能、非功能測試后，正式在生產(chǎn)環(huán)境完成對象存儲(chǔ)部署。

影像平臺(tái)對象存儲(chǔ)的部署使用兩個(gè)機(jī)房互為主備，由應(yīng)用程序通過配置決定主端。比如，應(yīng)用程序配置以A機(jī)房為主節(jié)點(diǎn)，承擔(dān)影像文件的讀寫操作，則B機(jī)房為備節(jié)點(diǎn)。兩個(gè)機(jī)房之間進(jìn)行數(shù)據(jù)的準(zhǔn)實(shí)時(shí)同步。

圖4:影像平臺(tái)對象存儲(chǔ)部署示意圖

02應(yīng)用試點(diǎn):影像平臺(tái)現(xiàn)有報(bào)表相關(guān)業(yè)務(wù)

選用報(bào)表業(yè)務(wù)作為試點(diǎn)業(yè)務(wù)，在2020年完成影像平臺(tái)報(bào)表文件向?qū)ο蟠鎯?chǔ)遷移，并將報(bào)表的導(dǎo)入、下載等日常訪問全部切換到對象存儲(chǔ)。

03數(shù)據(jù)遷移：影像業(yè)務(wù)平臺(tái)歷史數(shù)據(jù)遷移

在2020年底啟動(dòng)影像平臺(tái)A類歷史庫影響文件向?qū)ο蟠鎯?chǔ)遷移工作，經(jīng)過近9個(gè)月的不斷調(diào)優(yōu)，已經(jīng)完成近200T數(shù)據(jù)的遷移，預(yù)計(jì)到22年年中完成全部A類歷史數(shù)據(jù)遷移。

圖5:影像平臺(tái)并行期部署架構(gòu)

六、后續(xù)改造規(guī)劃

后續(xù)針對對象存儲(chǔ)的改造優(yōu)化，影像平臺(tái)還將完成以下兩方面工作：

01推廣實(shí)施：自存量數(shù)據(jù)向批量數(shù)據(jù)遷移

A類歷史數(shù)據(jù)遷移完成后，將分階段切換現(xiàn)有業(yè)務(wù)至對象存儲(chǔ)中，對象存儲(chǔ)承擔(dān)A類歷史影像文件的查詢和下載功能，同時(shí)存儲(chǔ)體系為內(nèi)容管理產(chǎn)品與分布式對象存儲(chǔ)并存，提供A類在線影像文件的存儲(chǔ)、查詢和下載功能。

02技術(shù)替換：逐步接替內(nèi)容管理產(chǎn)品，搭建基于對象存儲(chǔ)的在線非結(jié)構(gòu)化數(shù)據(jù)平臺(tái)

于對象存儲(chǔ)的在線非結(jié)構(gòu)化數(shù)據(jù)平臺(tái)對象存儲(chǔ)在線業(yè)務(wù)穩(wěn)定運(yùn)行后，將數(shù)據(jù)遷移至對象存儲(chǔ)，對象存儲(chǔ)作為唯一的存儲(chǔ)體系承接影像所有業(yè)務(wù)。將內(nèi)容管理產(chǎn)品從影像平臺(tái)全部剝離，徹底完成對影像平臺(tái)的輕量級改造，G行影像內(nèi)容管理將邁上一個(gè)新臺(tái)階。

圖6:影像平臺(tái)最終部署架構(gòu)

七、運(yùn)維經(jīng)驗(yàn)總結(jié)

對象存儲(chǔ)與傳統(tǒng)存儲(chǔ)工作原理不一樣，使用方式和維護(hù)方式也不一樣，因此在引入對象存儲(chǔ)之前，需要在部署、監(jiān)控、測試、維護(hù)等方面進(jìn)行技術(shù)儲(chǔ)備，確保對象存儲(chǔ)引入后的平穩(wěn)使用;

關(guān)注對象存儲(chǔ)的資源使用情況，以及節(jié)點(diǎn)間數(shù)據(jù)一致性。對象存儲(chǔ)自帶CPU和內(nèi)存等資源，使用過程中需要關(guān)注該類資源使用情況，有異常時(shí)及時(shí)跟進(jìn)優(yōu)化;此外，對象存儲(chǔ)會(huì)存在各節(jié)點(diǎn)之間數(shù)據(jù)一致性不同步的問題，使用過程中需要重點(diǎn)關(guān)注，如出現(xiàn)不一致，需要及時(shí)進(jìn)行干預(yù)保證數(shù)據(jù)一致性，避免在發(fā)生切換的時(shí)候存在數(shù)據(jù)使用上的錯(cuò)誤。

技術(shù)維護(hù)人員需保持開放的思維意識(shí)，隨時(shí)關(guān)注新技術(shù)的發(fā)展與變化，隨時(shí)思考如何使用新技術(shù)解決運(yùn)維過程中面臨的各種難題，切勿固步自封。與時(shí)俱進(jìn)，方得始終。