基于GPT2訓練了一個傻狗機器人

作者：小傅哥 2023-02-26 11:53:20

OpenAI GPT2 的模型訓練和服務使用，需要用到 Python、TensorFlow 機器學習等相關配置，并且這些環境間有些版本依賴。所以為了順利調試盡可能和我保持一樣的版本。

首先我想告訴你，從事編程開發這一行，要學會的是學習的方式方法。方向對了，才能事半功倍。而我認為最快且行之有效的技術技能學習，就是上手實踐。先不要搞太多的理論，買回來的自行車不能上來就拆，得先想辦法騎起來。

所以小傅哥就是這樣，學東西嘛。以目標為驅動，搭建可運行測試的最小單元版本。因為康威定律說；問題越小，越容易被理解和處理。所以在接觸 ChatGPT 以后，我時常都在想怎么自己訓練和部署一個這樣的聊天對話模型，哪怕是很少的訓練數據，讓我測試也好。所以這個會噴人的傻狗機器人來了！

一、傻狗機器聊天

在基于前文小傅哥《搭個ChatGPT算法模型》的學習基礎之上，以 OpenAI 開源的 GPT-2 和相關的 GPT2-chitchat 模型訓練代碼，部署了這個會噴人的傻狗機器人。但由于訓練數據的問題，這個聊天機器人對起話來，總感覺很變態。—— 不過不影響我們做算法模型訓練的學習。

此頁面為小傅哥所編程的WEB版聊天對話窗口

訪問地址：http://120.48.169.252/ - 服務器配置有限，不能承載過大的并發訪問。
視頻演示：https://www.bilibili.com/video/BV1LG4y1P7bo - 也可以通過B站視頻，觀看GPT2模型部署演示。

二、基礎配置環境

OpenAI GPT2 的模型訓練和服務使用，需要用到 Python、TensorFlow 機器學習等相關配置，并且這些環境間有些版本依賴。所以為了順利調試盡可能和我保持一樣的版本。如果你對環境安裝有難度，也可以找小傅哥幫忙買一臺云服務器，之后我把我的環境鏡像到你的服務器上就可以直接使用了。以下是所需的基本環境、代碼和數據。

系統配置：Centos 7.9 - 2核4GB內存200G磁盤4Mbps帶寬的云服務器
部署環境：Python3.7、 Transformers==4.2.0、pytorch==1.7.0
模型代碼：https://github.com/fuzhengwei/GPT2-chitchat - 此代碼已開源，含websocket通信頁面
模型數據：https://pan.baidu.com/s/1iEu_-Avy-JTRsO4aJNiRiA - ju6m

1. 環境依賴

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

yum install gcc -y

yum -y install libffi-devel

make

make altinstall

2. Python 3.7

cd ~

# 1.下載Python安裝包
wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz

# 2.將安裝包移動到/usr/local文件夾下
mv Python-3.7.4.tgz /usr/local/

# 3.在local目錄下創建Python3目錄
mkdir /usr/local/python3

# 4.進入的Python安裝包壓縮包所在的目錄
cd /usr/local/

# 5.解壓安裝包
tar -xvf Python-3.7.4.tgz

# 6.進入解壓后的目錄
cd /usr/local/Python-3.7.4/

# 7.配置安裝目錄
./configure --prefix=/usr/local/python3

# 8.編譯源碼
make

# 9.執行源碼安裝
make install

# 10.創建軟連接
ln -s /usr/local/python3/bin/python3  /usr/bin/python3

# 11. 測試
python3 -V

3. 安裝pip3

cd ~

# 1.下載
wget https://bootstrap.pypa.io/get-pip.py

# 2.安裝；注意咱們安裝了 python3 所以是 pyhton3 get-pip.py
python3 get-pip.py
  
# 3.查找pip安裝路徑
find / -name pip
  
# 4.將pip添加到系統命令
ln -s  /usr/local/python/bin/pip /usr/bin/pip  
  
# 5.測試
pip -V
  
# 6.更換源，如果不更換那么使用 pip 下載軟件會很慢
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip config set install.trusted-host mirrors.aliyun.com
pip config list
  
# pip國內鏡像源：

# 阿里云 http://mirrors.aliyun.com/pypi/simple/
# 中國科技大學  https://pypi.mirrors.ustc.edu.cn/simple/
# 豆瓣 http://pypi.douban.com/simple
# Python官方 https://pypi.python.org/simple/
# v2ex http://pypi.v2ex.com/simple/
# 中國科學院  http://pypi.mirrors.opencas.cn/simple/
# 清華大學 https://pypi.tuna.tsinghua.edu.cn/simple/

4. 安裝git

cd ~

# 1.安裝前首先得安裝依賴環境
yum install -y perl-devel

# 2.下載源碼包到 CentOS 服務器后進行解壓
tar -zxf git-2.9.5.tar.gz

cd git-2.9.5

# 3.執行如下命令進行編譯安裝 

./configure --prefix=/usr/local/git

make && make install

# 4.添加到系統環境變量
vim ~/.bashrc

export PATH="/usr/local/git/bin:$PATH"

# 5.使配置生效
source ~/.bashrc

# 6.測試
git version

5. 安裝寶塔

yum install -y wget && wget -O install.sh https://download.bt.cn/install/install_6.0.sh && sh install.sh 12f2c1d72

安裝后登錄寶塔提示的地址，默認它會使用8888端口，因此你需要在服務器上開啟8888端口訪問權限。
寶塔的安裝是為了在服務端部署一個網頁版聊天界面，使用到了 Nginx 服務。這里用寶塔操作更加容易。

三、模型運行環境

模型訓練需要用到 transformers 機器學習服務，以及 pytorch、sklearn 等組件；以下內容需要分別安裝；

transformers==4.4.2
pytorch==1.7.0
sklearn
tqdm
numpy
scipy==1.2.1

1. transformers

pip install transformers==4.4.2

2. pytorch

pip install torch==1.7.0+cpu torchvision==0.8.1+cpu torchaudio===0.7.0 -f https://download.pytorch.org/whl/torch_stable.html

這個torch版本+cpu與torchvision 需要匹配。

3. 其他安裝

剩余的按照使用指令 pip install 就可以，另外在運行 GTP2-chitchat 時，如果提示缺少了某些組件，直接使用 pip 按照即可。

四、聊天頁面配置

這里先把小傅哥給你準備好的websocket頁面代碼，通過寶塔創建站點后部署起來。代碼：https://github.com/fuzhengwei/GPT2-chitchat/tree/master/web

之后通過打開你的寶塔地址，創建站點和上傳Web代碼。

注意：目前的這份代碼中訪問websocket的配置在index.js中，你需要修改成你的服務器地址。

if(!window.WebSocket){
 alert("您的瀏覽器不支持WebSocket協議！推薦使用谷歌瀏覽器進行測試。");
 return;
}
socket = new WebSocket("ws://120.48.169.252:7397");

五、模型訓練部署

1. 下載代碼

cd /home

git clone https://github.com/fuzhengwei/GPT2-chitchat.git

你需要修改下 interact.py 代碼，變更這里有Websocket 的 IP和端口配置；

async def start_server():
    try:
        async with websockets.serve(server, "192.168.0.4", 7397):
            print("Starting server at ws://localhost:7397")
            await asyncio.Future()  # run forever
    except OSError as e:
        print(f"Error starting server: {e}")
    except Exception as e:
        print(f"Unexpected error: {e}")

2. 上傳模型

下載模型：https://pan.baidu.com/s/1iEu_-Avy-JTRsO4aJNiRiA#list/path=%2F - 密碼：ju6m

上傳模型：這里你需要在本機安裝一個 SFTP 工具，或者使用 IntelliJ IDEA 提供的工具進行鏈接。鏈接后就可以把解壓的模型上傳到 /home/GPT2-chitchat/model 下。

async def start_server():
    try:
        async with websockets.serve(server, "192.168.0.4", 7397):
            print("Starting server at ws://localhost:7397")
            await asyncio.Future()  # run forever
    except OSError as e:
        print(f"Error starting server: {e}")
    except Exception as e:
        print(f"Unexpected error: {e}")

修改這部分代碼的IP和端口，以及在云服務上開啟 7397 的訪問權限。另外為了安全起見，可以在云服務的防火墻IP來源中授權，只有你當前的臺機器才可以鏈接到 websocket 上。

3. 啟動服務

這里小傅哥通過 mac nuoshell 連接工具，進行模型啟動；模型路徑：/home/GPT2-chitchat/model/model_epoch40_50w

python3 interact.py --no_cuda --model_path /home/GPT2-chitchat/model/model_epoch40_50w

啟動后就可以把你的 websocket 頁面打開了，它會自動的鏈接到這個 websocket 服務上。
如果你還需要 Socket 或者命令行的服務，也可以修改 interact.py 代碼進行處理。

以上就是整個 GPT2-chitchat 一個閑聊模型的部署，你也可以嘗試使用 Docker 部署。如果在部署過程中實在很難部署成功，也可以找小傅哥買云服務，這樣我可以直接把鏡像部署到你的云服務上，就可以直接使用了。

責任編輯：武曉燕來源：今日頭條