使用Docker和Delphix我們研究了一個簡單快速備份生產(chǎn)應(yīng)用的流程，對各種應(yīng)用都普遍適用的流程

測試生產(chǎn)應(yīng)用上的改動是艱巨的。這是因為復(fù)制是一項非常繁瑣且緩慢的流程。通常的復(fù)制應(yīng)用的流程是快照備份/恢復(fù)還原一個虛擬機(jī)，壓縮、遠(yuǎn)程復(fù)制、解壓文件，備份、還原數(shù)據(jù)庫和其他可能需要通過IT執(zhí)行的步驟。這個問題與數(shù)據(jù)驅(qū)動的應(yīng)用混合在一起，導(dǎo)致需要更加頻繁備份應(yīng)用，以避免出現(xiàn)構(gòu)建過舊測試狀態(tài)的應(yīng)用。

測試生產(chǎn)環(huán)境的應(yīng)用看起來是不合理，但是當(dāng)時間和人力緊張時，這樣需求就會產(chǎn)生。使用Docker和Delphix，我們實踐了一種簡單快速的復(fù)制生產(chǎn)應(yīng)用的處理流程，這流程通常適用于大多數(shù)的各種應(yīng)用，例如：

對于我們實踐，Chris Kast, Dan Tehranian, Rahul Nair, Srini Dandu和我改進(jìn)了缺陷跟蹤工具 JIRA 的備份流程，

概述

一個常用的JIRA安裝包含三部分： PostgreSQL 數(shù)據(jù)庫、JIRA_HOME目錄、JIRA二進(jìn)制文件。大部分的bug數(shù)據(jù)存儲在數(shù)據(jù)庫中，而一些bug的元數(shù)據(jù)像截圖附件則是存儲在JIRA_HOME目錄中，還有初始化的配置文件也在該目錄下。備份JIRA大體需要兩步：

建立具有jira用戶和必須的二進(jìn)制文件的運(yùn)行環(huán)境

復(fù)制數(shù)據(jù)源和相關(guān)的配置文件

這需要耗時數(shù)小時。

解決方案概述

我們使用Docker和Delphix可以在幾分鐘內(nèi)提供一個生成環(huán)境備份的JIRA。像升級測試這樣艱巨的任務(wù)將會變得極其容易和可靠。除了備份，這二者結(jié)合使用的技術(shù)使我們能具有更新、快照和回滾每一個JIRA應(yīng)用的能力。

Docker和數(shù)據(jù)

Docker 是一個令人稱奇的工具，它面向開發(fā)者封裝了友好接口的 Linx Containers(LXC) 和配置管理。它允許開發(fā)加快構(gòu)建出包含所有依賴的一致運(yùn)行時環(huán)境，所以應(yīng)用只需在上面運(yùn)行即可……而且應(yīng)用還很快。所有容器共享同一個操作系統(tǒng)內(nèi)核，并且新的容器能夠在一秒內(nèi)創(chuàng)建。簡單的 docker run jira 命令能構(gòu)建出一個干凈的JIRA測試應(yīng)用的基本環(huán)境。但是一個空白的JIRA實例有多用呢?你需要真實的數(shù)據(jù)來驗證應(yīng)用運(yùn)行時所期望的行為，并且覆蓋生成環(huán)境中的邊界情況，正是這些情況經(jīng)常會導(dǎo)致一次失敗的更新或者升級。

換句話說，在干凈的環(huán)境中你無法測試覆蓋到任何問題。

Chris想在測試實例中驗證他的改動，為了這個目的他需要一個有真實數(shù)據(jù)的類生產(chǎn)環(huán)境。

持久化存儲是對于Docker開發(fā)者來說是一個活躍的區(qū)域。Docker數(shù)據(jù)既可以是私有的(存在容器內(nèi))，也可以是共享的(存在主機(jī)上)。私有數(shù)據(jù)存在于 Docker統(tǒng)一文件系統(tǒng) 。Docker存儲的底層抽象是基于分層的，它有好多個實現(xiàn)例如vfs(基于目錄的實現(xiàn)，創(chuàng)建一個子層次相當(dāng)于創(chuàng)建一個子目錄并且深度拷貝父目錄)，btrfs(使用快照來實現(xiàn)分層的文件系統(tǒng))。

我們想在容器間共享兩個數(shù)據(jù)源，并且保持與生產(chǎn)環(huán)境的同步。我們采用直接解決問題的方法，建立負(fù)責(zé)保持JIRA_HOME目錄和PostgreSQL數(shù)據(jù)同步的容器，但是即使如此，Docker沒有與其他測試容器共享數(shù)據(jù)的概念，像每一個容器獲得各自進(jìn)行讀寫的數(shù)據(jù)備份。

Delphix就是為這個而生的。

Delphix-Docker工作流

使用Delphix，我們把生產(chǎn)環(huán)境的PostgreSQL數(shù)據(jù)庫和JIRA_HOME目錄都通過拉取數(shù)據(jù)方式連接到Delphix引擎。我們?nèi)缓髮⑦@些數(shù)據(jù)源分區(qū)為新主機(jī)上的虛擬數(shù)據(jù)庫(VDB)和虛擬文件(vFiles)。使用我們的關(guān)聯(lián)工具套件，我們自動化構(gòu)建了一個JIRA容器，而且配置變化跟這些緊密結(jié)合在一些。

耗時從小時到分鐘

單獨(dú)使用Delphix界面即可將耗時數(shù)小時的備份流程降至僅僅3分鐘，而且其中兩分鐘是在等待JIAR應(yīng)用啟動!開發(fā)人員需要做的是使用Delphix界面提供VDB(可以在任何網(wǎng)絡(luò)上通過JDBC url訪問的主機(jī)上)，并且提供JIRA_HOME vFiles給Docker主機(jī)。

想知道我們?nèi)绾巫龅降暮蛯嵺`過程中的問題

工具箱內(nèi)部細(xì)節(jié)

大多數(shù)處理流程都是通過使用自定義的數(shù)據(jù)平臺工具箱來實現(xiàn)自動化的。最終的處理流程如下：

通過Delphix界面工具提供PostgreSQL虛擬數(shù)據(jù)庫

通過Delphix界面工具提供JIRA_HOME目錄的虛擬文件(vFiles)給Docker主機(jī)

通過工具套件的鉤子自動配置虛擬JIRA_HOME的變化

(1)在dbconfig.xml文件中更新JDBC連接，數(shù)據(jù)庫名字，用戶和虛擬數(shù)據(jù)庫的密碼

(2)刪除.jira_home.lock文件

4.運(yùn)行Docker容器(通過工具箱鉤子自動運(yùn)行)

(1)掛載vFiles到容器中作為JIRA_HOME目錄

使用的Dockerfile和docker 運(yùn)行命令請參考附錄。

問題1：NFS和Docker后臺程序

在名副其實的文章“ NFS shares and volumes don’t mix ”，我們發(fā)現(xiàn)一個問題：Docker后臺程序沒有注冊新建的NFS掛載點，在容器中只有一個空的掛載點。一個解決方法是重啟Docker后臺程序，強(qiáng)制解析已經(jīng)存在的掛載點。然而，很幸運(yùn)的是我們工作的CentOS上使用的是systemd(組成Linux系統(tǒng)的一個基本模塊組件)，當(dāng)啟動Docker服務(wù)時候有個MountFlag可選。我們可以使MountFlag=private來解決該問題。

MountFlag選項控制Docker掛載點相對于全部掛載空間的可見性，但是通常很難找到描述這個標(biāo)志的信息

問題2：NFS和Docker權(quán)限

我們遇到在容器中掛載時的權(quán)限問題。使用Docker的特權(quán)模式，會開放很多內(nèi)核功能和設(shè)備驅(qū)動給容器訪問，我們在底層設(shè)備映射器上繞過這個問題(其他底層存儲實現(xiàn)可能實現(xiàn)方式不同)。是的，我們在特權(quán)模式下失去了一些優(yōu)雅的安全限制，但是它在測試和開發(fā)環(huán)境是完全可以的。