Docker三分鐘搞定LLama3開源大模型本地部署
概述
LLaMA-3（Large Language Model Meta AI 3）是由Meta公司開發(fā)的大型開源生成式人工智能模型。它在模型結構上與前一代LLaMA-2相比沒有大的變動。
LLaMA-3模型分為不同規(guī)模的版本，包括小型、中型和大型，以適應不同的應用需求和計算資源。小型模型參數(shù)規(guī)模為8B，中型模型參數(shù)規(guī)模為70B，而大型模型則達到400B，仍在訓練中，目標是實現(xiàn)多模態(tài)、多語言的功能，預計效果將與GPT 4/GPT 4V相當。
安裝 Ollama
Ollama 是一個開源的大型語言模型（LLM）服務工具，它允許用戶在本地機器上運行和部署大型語言模型。Ollama 設計為一個框架，旨在簡化在 Docker 容器中部署和管理大型語言模型的過程，使得這一過程變得簡單快捷。用戶可以通過簡單的命令行操作，快速在本地運行如 Llama 3 這樣的開源大型語言模型。
官網(wǎng)地址：https://ollama.com/download
圖片
Ollama 支持多種平臺，包括 Mac 和 Linux，并提供了 Docker 鏡像以簡化安裝過程。用戶可以通過編寫 Modelfile 來導入和自定義更多的模型，這類似于 Dockerfile 的作用。Ollama 還具備一個 REST API，用于運行和管理模型，以及一個用于模型交互的命令行工具集。
Ollama服務啟動日志
圖片
模型管理
下載模型
ollama pull llama3:8b默認下載的是llama3:8b。這里冒號前面代表模型名稱，冒號后面代表tag，可以從這里查看llama3的所有tag
圖片
模型測試
注意：如果想讓模型中文回復，請先輸入：你好！請中文回復
圖片
配置Open-WebUI
在CPU下運行
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
圖片
訪問
輸入地址 http://127.0.0.1:3000 進行訪問
圖片
初次訪問需要注冊，這里我注冊一個賬號，注冊完成登錄成功
圖片
切換中文語言
圖片
下載llama3:8b模型
llama3:8b
圖片
下載完成
圖片
使用
選擇模型
圖片
使用模型
圖片
注意：如果想讓模型中文回復，請先輸入：你好！請中文回復
圖片
內存
圖片
