如何使用Docker將node項目部署到服務器并用pm2做負載均衡?
我們的后臺管理系統基本功能大致已經完成了，接下來我們要做的就是把它部署到服務器上，讓用戶可以訪問到我們的后臺管理系統。本篇文章將以我們開發好的后臺管理系統為例,介紹如何使用 docker 部署我們系統的后端Node服務到服務器上。
docker 在前面的文章中已經簡單介紹過了,在 windows 系統上我們可以通過docker desktop來安裝和使用管理docker,非常方便。
Dockerfile
首先我們來了解一下什么是Dockerfile。
簡單來說
Dockerfile是一個文本文件，包含了一系列指令，用于自動化創建 Docker 鏡像的過程。它定義了鏡像的基礎環境、所需的依賴、應用程序的代碼以及如何運行該應用程序等等。比如一個簡單的前端項目Dockerfile如下：
# 使用官方的 Node.js 鏡像作為基礎鏡像
FROM node:14-alpine
# 設置工作目錄
WORKDIR /app
# 復制 package.json 和 package-lock.json 到工作目錄
COPY package*.json .
# 安裝項目依賴
RUN npm install
# 復制項目代碼到工作目錄
COPY . .
# 構建生產環境的應用程序
RUN npm run build
# 暴露應用程序的端口
EXPOSE3000
# 啟動應用程序
CMD ["node", "dist/main.js"]然后我們就可以通過docker build -t <鏡像名稱>:<標簽> .將我們的項目打包成一個鏡像，就可以通過docker run [OPTIONS] <鏡像名稱>:<標簽>這個鏡像在任何地方運行我們的項目了。
docker-compose
除了Dockerfile之外，我們還可以使用docker-compose來管理我們的項目。我們的后臺管理系統的后端服務有很多依賴，比如數據庫、redis 等等，我們需要一個個拉取鏡像然后一個個的去構建啟動容器，有點麻煩。所以我們可以使用docker-compose來定義和管理多個Docker 容器,我們可以在一個docker-compose.yml文件中定義多個容器的配置，然后通過docker-compose up來啟動所有的容器。比如一個簡單的docker-compose.yml文件如下：
version: "1.0"# 指定 Docker Compose 文件的版本
services:# 定義服務部分
nest-app:# 服務名稱，表示 Nest.js 應用
build:# 構建配置
context:./# 構建上下文，指定 Dockerfile 所在的目錄
dockerfile:./Dockerfile# 指定 Dockerfile 的路徑
depends_on:# 指定依賴關系，確保在啟動此服務之前啟動依賴的服務
-mysql-container# 依賴 MySQL 容器
-redis-container# 依賴 Redis 容器
ports:# 端口映射
-3000:3000# 將宿主機的 3000 端口映射到容器的 3000 端口
networks:# 指定服務連接的網絡
-common-network# 連接到名為 common-network 的網絡
mysql-container:# 服務名稱，表示 MySQL 數據庫
image:mysql# 使用官方 MySQL 鏡像
volumes:# 數據卷配置，用于持久化數據
-E:/mysqlData:/var/lib/mysql# 將宿主機的 E:/mysqlData 目錄掛載到容器的 /var/lib/mysql 目錄
environment:# 環境變量配置
MYSQL_DATABASE:fs_admin# 創建的數據庫名稱
MYSQL_ROOT_PASSWORD:123456# MySQL 根用戶的密碼
networks:# 指定服務連接的網絡
-common-network# 連接到名為 common-network 的網絡
ports:# 端口映射
-3307:3306# 將宿主機的 3307 端口映射到容器的 3306 端口
redis-container:# 服務名稱，表示 Redis 數據庫
image:redis# 使用官方 Redis 鏡像
networks:# 指定服務連接的網絡
-common-network# 連接到名為 common-network 的網絡
ports:# 端口映射
-6379:6379# 將宿主機的 6379 端口映射到容器的 6379 端口
networks:# 定義網絡部分
common-network:# 自定義網絡名稱
driver:bridge# 使用橋接網絡驅動然后我們就可以通過docker-compose up來啟動所有的容器了,之后將我們的項目部署到服務器上也可以直接執行docker-compose up就把所有的容器都啟動部署了。
編寫后端項目 Dockerfile
接下來看一下我們的后臺管理系統的后端服務的Dockerfile如何寫:
- 要拉取
node鏡像,因為我們的后端服務是基于node的。 - 我們需要設置在 docker 中的工作目錄。(/app)
- 將項目的
package.json復制到工作目錄中。 - 執行
npm install安裝項目的依賴。 - 將項目的代碼復制到工作目錄中。
- 執行
npm run build構建生產環境的應用程序。 - 暴露應用程序的端口。
- 啟動應用程序。
FROM node:18.0-alpine3.14
WORKDIR /app
COPY package.json .
RUN npm install
COPY . .
RUN npm run build
EXPOSE 3000
CMD ["npm", "run","prod"]但是這樣做會有一個問題,就是我們把項目的代碼都復制到 docker 的工作目錄中,這樣會導致構建鏡像的大小變大,其實構建 docker 鏡像中只需要打包后的dist文件以及一些生產環境的依賴就行了,這時候我們該怎么做呢?這里就要用到Docker的多階段構建了。
我們將前面一部分構建作為第一階段命名為build-stage,第一階段構建完后我們將其dist、package.json、以及我們生產環境所需的.env.prod復制到第二階段production-stage中,然后設置工作目錄、環境變量、安裝依賴、暴露端口等即可。
FROM node:18.0-alpine3.14 as build-stage
WORKDIR /app
COPY package.json .
RUN npm config set registry https://registry.npmmirror.com/
RUN npm install
COPY . .
RUN npm run build
# production stage
FROM node:18.0-alpine3.14 as production-stage
COPY --from=build-stage /app/dist /app/dist
COPY --from=build-stage /app/package.json /app/package.json
COPY --from=build-stage /app/.env.prod /app/.env.prod
WORKDIR /app
# 環境變量
ENV NODE_ENV production
RUN npm config set registry https://registry.npmmirror.com/
RUN npm install
EXPOSE3000
CMD ["npm", "run","prod"]這樣我們就完成了我們的后端服務的Dockerfile的編寫了。
docker-compose 配置
項目的鏡像構建完成后,我們還需要配置docker-compose.yml文件來管理我們的項目。在docker-compose.yml我們可以通過${環境變量}來獲取環境變量的值,默認取的是.env文件中的值,生產環境中我們可以通過--env-file來指定環境變量的文件,比如我們的項目的環境變量文件是.env.prod,我們就可以通過docker compose --env-file .env.prod up來啟動我們的項目。
version: "1.0"
services:
nest-app:
build:
context:./
dockerfile:./Dockerfile
depends_on:
-mysql-container
-redis-container
ports:
-3000:3000
networks:
-common-network
volumes:
-${APP_PATH}:/app/static
mysql-container:
image:mysql
volumes:
-${MYSQL_DATA_PATH}:/var/lib/mysql
environment:
MYSQL_DATABASE:${DB_DATABASE}
MYSQL_ROOT_PASSWORD:${DB_PASSWD}
networks:
-common-network
ports:
-3307:${DB_PORT}# 顯式映射 MySQL 端口
redis-container:
image:redis
volumes:
-${REDIS_DATA_PATH}:/data
networks:
-common-network
ports:
-6379:${RD_PORT}# 顯式映射 Redis 端口
networks:
common-network:
driver:bridge其中volumes是配置掛載的目錄,可以將宿主機的目錄掛載到容器的目錄中,這樣容器重新啟動后,容器中的目錄中的文件不會丟失。比如mysql的數據、redis的數據、nest上傳的靜態文件等等。這些變量我們可以在.env.prod文件中配置。
# 數據庫配置 # 數據庫地址 DB_HOST=mysql-container # 數據庫端口 DB_PORT=3306 # 數據庫登錄名 DB_USER=root # 數據庫名稱 DB_DATABASE=fs_admin # 數據庫登錄密碼 DB_PASSWD=xxx # 數據庫Data保存路徑 MYSQL_DATA_PATH=/fsAdmin/mysqlData # redis配置 RD_HOST=redis-container # redis端口 RD_PORT=6379 # redis Data保存路徑 REDIS_DATA_PATH=/fsAdmin/redisData # JWT配置 JWT_SECRET=xxxx # JWT過期時間 JWT_EXP=2h # 上傳文件域名配置 FILESAVEURL=http://xxx xxx:3000/ # 上傳文件保存路徑 APP_PATH=/fsAdmin/files我們會發現我們的數據庫 DB_HOST 和 redis 的 RD_HOST 都是容器的名稱,這是因為我們的容器是通過docker-compose.yml文件來管理的,我們將其配置在了同一個橋接網絡,所以我們可以通過容器的名稱來訪問容器的服務。
注意:如果我們的項目是開源項目,就比如我這個項目,我們是不能吧.env.prod 上傳到 git 上的,不然你的數據庫密碼等私密信息就會被別人獲取到,所以這個文件我會在服務器上進行配置。
負載均衡
我們都知道 nodejs 是單線程的,所以我們需要使用負載均衡的工具來提高我們的服務的并發能力。這里我們選擇pm2為我們的服務開啟多個進程。pm2用法其實很簡單,首先在項目中安裝pm2,當然你也可以全局安裝。然后再記住它的幾個命令即可。
這里我們使用配置文件的形式來配置pm2。我們直接使用命令pm2 init simple即可生成一個簡單的配置文件ecosystem.config.js,然后我們配置一下。
module.exports = {
apps: [
{
name: "Nest_APP", //應用名稱
log_date_format: "YYYY-MM-DD HH:mm:ss", //日志格式
script: "dist/main.js", //啟動文件
out_file: "./log/file.log", //日志文件
error_file: "./log/file_error.log", //錯誤日志文件
autorestart: true, //是否自動重啟
instances: "max", //要啟動實例的數量即負載數量,max表示根據cpu的進程數來設置
},
],
};然后我們在package.json中修改一下npm run prod的腳本,同時添加pm2的幾個命令用于測試使用。
"scripts": {
"prod": "pm2 start && pm2 logs",
"pm2:delete": "pm2 delete all",
"pm2:stop": "pm2 stop all",
"pm2:restart": "pm2 restart all",
},注意啟動時加了一個命令 pm2 logs 是因為:docker 部署 pm2 啟動的程序時不能直接讓 pm2 后臺運行,因為 docker 需要一個阻塞控制臺的進程，才可以持續運行,否則會關閉,所以執行的時候加一條輸出日志的命令用于阻塞控制臺進程,docker 容器才不會關閉。
最后修改一下Dockerfile,將 pm2 配置文件也復制到容器。
此時我們就完成了 pm2 負載均衡的配置了。
本地部署
在部署服務器之前,我們先在本地部署測試一下有沒有問題。我們直接在當前項目下執行docker compose --env-file .env.prod up看一下。
可以看到本地正常啟動了，然后隨便訪問一個接口,可以看到數據正常返回。
說明我們的后端服務已經使用 docker 在本地部署成功了。注意這時候數據庫中的表是不會自動創建的,需要我們手動將開發環境的表結構同步到部署環境。
同時控制臺執行docker ps可以查看到我們的三個容器正在運行。
或者直接在docker desktop中也可以看到。
如果你構建過程出現了問題,需要修改再構建的話最好先執行docker compose down --rmi all來停止并刪除Docker Compose 項目中的所有服務,然后再執行docker compose --env-file.env.pr up來重新構建。
服務器部署
想要部署到服務器首先要有一臺自己的服務器,這里以阿里云服務器為例我購買一個便宜的輕量應用服務器。
應用鏡像選 docker,這樣就不用再在服務器上手動安裝 doker 了。系統鏡像選擇你喜歡的就行,這里我選擇第一個阿里云的 Linux 系統。
下單購買之后我們就擁有了一臺自己的服務器了。進入控制臺就能看到我們的服務器了。點擊進去就可以進行遠程連接登錄我們的服務器了。
連接成功就進入了服務器的終端界面。
接下來就是將我們的項目部署到服務器上了。我們新建一個文件夾fsAdmin來存放我們的項目mkdir fsAdmin,然后進入文件夾cd fsAdmin。用 git 將項目克隆到這個目錄下git clone 你的項目倉庫地址。
clone 完成之后進入我們的后臺項目cd fs-admin/admin_nest,我們前面提到過生產環境的配置文件.env.prod是不在 git 上的,因此在服務器上我們需要手動創建這個文件,并且配置好環境變量。所以我們需要在 Linux 上安裝一個編輯器,這里我選擇的是nano,執行sudo yum install nano(根據你的 Linux 發行版本不同可能安裝方式有所差異)即可完成安裝。
安裝完成之后我們就可以使用nano .env.prod來創建或打開這個文件了,然后將生產環境的配置復制到這個文件中即可。
到這里我們的前置操作就完成了。接下來我們就可以直接使用sudo docker compose --env-file.env.prod up來啟動我們的項目了。不出意外的話應該是可以啟動成功的。
此時我們的后端項目就已經部署到服務器了,但是此時我們還是訪問不到我們的接口的,因為我們的服務器是在阿里云的,我們需要在阿里云的控制臺中配置一下安全組。因為我們用的是輕量應用服務器,所以這里我們配置一下防火墻就行,我們需要在防火墻中添加一條規則,允許我們的服務器的 3000 端口和數據庫 3007 端口訪問。直接點擊實例 id,然后點擊防火墻將 3000 端口和 3007 端口添加進去即可。
這里解釋一下為什么是 3007 而不是 3006? 因為我們的 mysql 在 docker 中的端口是 3006,而它映射到宿主機也就是我們服務器上的端口是 3007。這是在docker-compose.yml中配置的。
此時我們就應該可以直接使用服務器公網 ip+3000端口訪問我們的接口了并且可以使用3007 來連接數據庫了。
最后我們需要將數據庫的數據表及基本的數據也同步到服務器上,因為為了安全起見,線上數據表不會像開發環境中自動創建。
我們可以使用數據庫連接工具根據線上數據庫域名端口及密碼連接到線上數據庫,然后將數據表及基礎數據導入。sql我已經放在github上的項目中了fs_admin.sql,直接導入即可。管理員賬戶及密碼為admin 123456
