如何使用 Unsloth & Docker 訓練大語言模型
Unsloth出了個教程：如何使用 Unsloth 的 Docker 鏡像 來進行 LLM 微調 或 強化學習 (RL)。
本地訓練常常因為依賴問題或環境破壞而變得復雜。Unsloth 的 Docker 鏡像可以繞過這些問題。無需任何環境配置：直接拉取鏡像并運行，即可開始訓練。
Unsloth 官方 Docker 鏡像：unsloth/unsloth(??https://hub.docker.com/r/unsloth/unsloth??)
為什么使用 Unsloth & Docker？
?Unsloth 的 Docker 鏡像穩定、更新頻繁，并且適用于任何受支持的環境。
?所有依賴都封裝在容器中，保持系統干凈。運行時無需 root 權限，安全可靠。
?可在本地或任何預裝 notebook 的平臺上運行。
分步教程
安裝 Docker 和 NVIDIA Container Toolkit
?通過 Linux 或 Docker Desktop 安裝 Docker
?然后安裝 NVIDIA Container Toolkit：
export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}運行容器
?unsloth/unsloth 是主要的 Docker 鏡像
?如果使用 Blackwell 或 50 系列顯卡，請使用 Blackwell 版本
docker run -d -e JUPYTER_PASSWORD="mypassword" \
-p 8888:8888 -p 2222:22 \
-v $(pwd)/work:/workspace/work \
--gpus all \
unsloth/unsloth
訪問 Jupyter Lab
?打開 ??http://localhost:8888?? 開始使用 Unsloth 訓練
?在 unsloth-notebooks 標簽頁中查看示例 notebook
?/workspace/work/ — 你的工作目錄（已掛載）
?/workspace/unsloth-notebooks/ — 微調示例 notebook
?/home/unsloth/ — 用戶主目錄
使用示例
完整示例：
docker run -d -e JUPYTER_PORT=8000 \
-e JUPYTER_PASSWORD="mypassword" \
-e "SSH_KEY=$(cat ~/.ssh/container_key.pub)" \
-e USER_PASSWORD="unsloth2024" \
-p 8000:8000 -p 2222:22 \
-v $(pwd)/work:/workspace/work \
--gpus all \
unsloth/unsloth本文轉載自?????AI帝國?????，作者：無影寺
