Teprunner測試平臺部署到Linux系統(tǒng)Docker
本文轉(zhuǎn)載自微信公眾號「dongfanger」，作者dongfanger。轉(zhuǎn)載本文請聯(lián)系dongfanger公眾號。
本文是一篇過渡，在進(jìn)行用例管理模塊開發(fā)之前，有必要把入門篇開發(fā)完成的代碼部署到Linux系統(tǒng)Docker中，把部署流程走一遍，這個過程對后端設(shè)計有決定性影響。
本地運行
通過在Vue項目執(zhí)行npm run serve和在Django項目執(zhí)行python manage.py runserver，我們把項目在本地跑起來了，示意圖如下：
前端在本地啟了個Node服務(wù)器，后端在本地啟了個Django服務(wù)器，分別使用8080和8000端口。瀏覽器有個同源策略：域名、端口、協(xié)議三者一致才能進(jìn)行訪問，否則會由于跨域訪問而被瀏覽器攔截。圖中前后端的端口不一致，出現(xiàn)了跨域，前端是無法直接請求后端的。解決辦法是在vue.config.js中配置devServer：
這是Node開的一個代理服務(wù)器，當(dāng)前端請求后端時，會先發(fā)向Node代理服務(wù)器，Node代理服務(wù)器以相同的參數(shù)向真正的后端服務(wù)器進(jìn)行請求，再把響應(yīng)返回給前端。在本項目中，前端請求仍然是發(fā)給http://127.0.0.1:8080，瀏覽器不會攔截，Node代理服務(wù)器會幫你把請求轉(zhuǎn)發(fā)給后端8000端口。
Nginx部署
搞懂了本地運行代理轉(zhuǎn)發(fā)，再來看看Nginx部署。Nginx本身是個服務(wù)器，就像Node服務(wù)器一樣，也可以看做Apache Tomcat。Vue項目使用npm run build命令把代碼構(gòu)建為dist目錄靜態(tài)文件，放到Nginx服務(wù)器中加載出來，結(jié)合Docker示意圖如下：
相比于本地運行，Nginx部署時，前端變化比較大，一：dist靜態(tài)文件拷貝到了/usr/share/nginx/html目錄中，二：對/路徑來說，Nginx會監(jiān)聽80端口，三：對/api路徑來說，Nginx會把請求轉(zhuǎn)發(fā)到后端服務(wù)器端口，這也叫做反向代理。后端沒有什么變化，為了和本地運行看著有點區(qū)別，把端口稍微改了下，Docker內(nèi)部使用80端口。
這里比較關(guān)鍵的是理解Docker teprunner-frontend、Docker teprunner-backend、Linux三者之間的關(guān)系。如果不知道Docker，那么應(yīng)該聽說過虛擬機，Docker從概念上理解就像是虛擬機，這三者可以看做是三臺主機。Linux的IP是172.16.25.131，80端口映射到了Docker teprunner-frontend的80端口，8099端口映射到了Docker teprunner-backend的80端口，如圖中下方雙向箭頭所示。在Linux上訪問http://127.0.0.1，能打開登錄頁面，但是無法向后端發(fā)起請求，因為從80端口直接請求8099端口，跨域了。解決辦法是在Docker teprunner-frontend借助Nginx進(jìn)行反向代理，把請求先發(fā)送到Nginx服務(wù)器，再轉(zhuǎn)發(fā)給Linux的8099端口。
不能在Docker teprunner-frontend中把/api的代理設(shè)置為http://127.0.0.1:8099，因為這個Docker容器的8099端口并沒有啟用，啟用的是Linux這臺機器上的8099端口，所以需要通過IP來指定。
整體思路明確了，接下來就開始動手操作。
編寫deploy腳本
前端
打開teprunner-frontend文件夾，新建deploy/nginx.conf文件：
/路徑從user/share/nginx/html讀文件，入口為index.html，/api轉(zhuǎn)發(fā)到http://172.16.25.131:8099。這個文件會拷貝到Docker鏡像中。新建Dockerfile文件：
FROM定義了基礎(chǔ)鏡像，可以理解為操作系統(tǒng)，前端項目基于nginx來構(gòu)建。WORKDIR定義了鏡像當(dāng)前工作目錄，意思是在執(zhí)行后面COPY操作時，鏡像目錄用哪一個。COPY分別把dist靜態(tài)文件和nginx.conf配置文件拷貝到鏡像中，COPY指令第一個參數(shù)是本機目錄，第二個參數(shù)是鏡像目錄。鏡像目錄通過WORKDIR來指定，本機目錄通過Docker上下文來指定，新建build.sh文件：
DockerContext指定了Docker上下文為teprunner-frontend根目錄。這里的Shell腳本有兩個階段，第1階段是使用node編譯：
- docker run # 運行鏡像
- --rm # 運行后刪除容器
- -v $(pwd)/../:/data/src # $(pwd)指當(dāng)前工作目錄，把根目錄掛載到data/src
- -v /root/.npm/_logs:/root/.npm/_logs # 掛載日志文件
- -w /data/src/ # 鏡像當(dāng)前工作目錄
- $BUILDER_IMAGE # 運行鏡像為node:latest，用node編譯前端代碼
- /bin/sh -c "npm install && npm run build" # /bin/sh是shell可執(zhí)行程序，調(diào)用執(zhí)行npm命令
第2階段是打包成Docker鏡像：
- docker build # 構(gòu)建鏡像
- -f $Dockerfile # 指定Dockerfile文件位置
- -t $PkgName # 鏡像包名
- $DockerContext # Docker上下文
后端后端也是類似的，先新建deploy/Dockerfile文件：
后端項目基于python:3.8來構(gòu)建，接著設(shè)置了時區(qū)，COPY . .把Django源文件直接復(fù)制到了鏡像目錄/app/release中，RUN指令執(zhí)行pip install命令安裝依賴包，CMD和RUN有點區(qū)別，RUN指令在docker build時就執(zhí)行，CMD指令在docker run時才執(zhí)行，預(yù)定義啟動命令。
這里簡化了遷移數(shù)據(jù)庫migrate等啟動命令，服務(wù)器數(shù)據(jù)庫和本地用的同一個。
再新建build.sh文件：
Python代碼不需要編譯，打包成Docker鏡像就可以了。
部署到Ubuntu系統(tǒng)Docker
Linux系統(tǒng)是內(nèi)核版本，它有很多發(fā)行版本，比如CentOS、Ubuntu，本文采用了Ubuntu，只有一個原因，它長的好看。
大學(xué)室友曾經(jīng)沖動地把Windows系統(tǒng)換成了Ubuntu，還天天跟我們炫耀有多酷炫有多牛逼，過了兩三天發(fā)現(xiàn)Office不好用，也玩不了游戲，就又換回來了。哈哈，Ubuntu平時玩玩就好了，除非是做Linux內(nèi)核開發(fā)。
下載軟件：
- VMware 破解版
- Ubuntu Desktop 20.04
安裝過程此處不再另加贅述。打開虛擬機的Ubuntu：
打開Terminal，輸入su，輸入密碼，切換到root：
發(fā)現(xiàn)缺少權(quán)限就su一下。
安裝curl：
- apt-get install curl
安裝docker：
- curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
使用ifconfig查詢虛擬機IP：
不要選擇.git和node_modules文件夾，把teprunner-frontend打成壓縮包。不要選擇.git和__pycache__文件夾，把teprunner-backend打成壓縮包。復(fù)制前后端壓縮包到虛擬機Documents解壓：
Ubuntu Desktop的好處是提供了圖像化操作界面，適合我這種小白用戶。使用命令行編輯工具vi或者圖形編輯工具gedit編輯teprunner-frontend/deploy/nginx.conf文件中/api轉(zhuǎn)發(fā)地址為你的虛擬機實際IP地址：
打開兩個Terminal，分別cd到teprunner-frontend/deploy和teprunner-backend/deploy，執(zhí)行./build.sh命令。
如果執(zhí)行提示^M之類報錯，那是因為在Windows編輯后復(fù)制到Linux格式不一致，使用apt-get install dos2unix命令安裝工具后進(jìn)行格式轉(zhuǎn)化，比如dos2unix build.sh、dos2unix Dockerfile。
前端構(gòu)建截圖：
第一次因為要下載node依賴包和拉取nginx鏡像，會比較慢，第二次就快很多了。后端構(gòu)建截圖：
第一次因為要拉取python鏡像，會比較慢，第二次就快多了。都構(gòu)建完成后，輸入docker images命令就能看到打包好的Docker鏡像了：
啟動前端鏡像：
- docker run -p 80:80 teprunner-frontend
啟動后端鏡像：
- docker run -p 8099:80 teprunner-backend
鏡像啟動后就變成了Docker容器，可以理解為一臺虛擬主機。-p參數(shù)用于映射Ubuntu端口和Docker端口。可以添加-d參數(shù)讓容器在后臺運行。docker ps -a查看容器，docker kill CONTAINER或docker stop CONTAINER退出容器。
最后可以在虛擬機中訪問http:127.0.0.1進(jìn)行登錄了，本地機器想要訪問的話，需要把127.0.0.1改為你的虛擬機實際IP，比如http://172.16.25.131。
小結(jié)
本文先介紹了本地運行和Nginx部署的示意圖，涉及到跨域訪問和反向代理。接著編寫deploy腳本，編譯代碼，構(gòu)建鏡像。最后部署到Ubuntu系統(tǒng)的Docker中運行起來。在使用過程中，也感受到了Docker這一劃時代技術(shù)的魅力，如果沒有Docker，我們需要在Ubuntu上面安裝nginx、node、python等軟件，有了Docker，我們只需要安裝Docker，其他都基于Docker鏡像構(gòu)建就可以了。teprunner測試平臺的用例采用的是代碼形式，這就涉及到了代碼存放位置的問題，為了讓pytest能調(diào)用執(zhí)行，肯定是存放到文件里面的。本文實踐給了個重要提醒，如果后端把代碼直接寫入磁盤文件，每次打包鏡像部署后，就會把已保存的用例代碼抹掉。解決這個問題的第一個辦法是用K8S，第二個辦法是把代碼存數(shù)據(jù)庫。學(xué)習(xí)版采用了第二個辦法存數(shù)據(jù)庫，執(zhí)行時動態(tài)從數(shù)據(jù)庫拿代碼生成文件。第一個辦法思路借鑒：
最后，簡單聊下Docker和K8S，Docker是Docker公司的，K8S是Google的，Docker是家小公司搞的，在創(chuàng)建之初，并沒有考慮到“容器編排”這個功能，2014年 Google推出Kubernetes用于解決大規(guī)模場景下Docker容器編排的問題，2016年Kubernetes發(fā)布CRI統(tǒng)一接口，雖然Docker也在2016年發(fā)布了Docker Swarm，帶來了Docker在多主機多容器的編排解決方案，但是已經(jīng)無法阻擋K8S取得這場容器編排戰(zhàn)爭的勝利。
參考資料：https://www.cnblogs.com/riwang/p/11883332.htmlhttps://zhuanlan.zhihu.com/p/334787180https://testerhome.com/topics/27860
