譯者 | 布加迪
審校 | 重樓
你只需要24GB 的內存，除非你的GPU自帶VRAM，否則需要相當的耐心。
上周，OpenAI發布了兩款流行的開放權重模型，均名為gpt-oss。由于你可以下載它們，因此可以在本地運行。
輕量版模型gpt-oss-20b有210億個參數，需要大約16GB的可用內存。較大版模型 gpt-oss-120b有1170億個參數，需要80GB的內存才能運行。相比之下，像DeepSeek R1這樣的前沿模型擁有6710億個參數，需要大約875GB的內存才能運行，因此LLM開發者及合作伙伴正在盡快構建大型數據中心。
除非你運行的是高端AI服務器，否則可能無法在家用系統上部署gpt-oss-120b，但許多人擁有運行gpt-oss-20b所需的內存。你的計算機需要至少配備16GB專用VRAM的GPU，或者24GB 或更多的系統內存（至少留出8GB供操作系統和軟件使用）。性能將在很大程度上取決于內存帶寬，因此配備GDDR7或GDDR6X內存（1000+ GB/s）的顯卡其性能將遠勝過普通筆記本電腦或臺式機的DDR4或DDR5（20 - 100 GB/s）。
下面，我們將講解如何在Windows、Linux和macOS上免費使用這款新的語言模型。我們將使用Ollama，這個免費的客戶端應用程序使得下載和運行該LLM變得輕而易舉。
如何在Windows上運行gpt-oss-20b？
在Windows上運行新的LLM很簡單。為此，先下載并安裝Windows版Ollama。
打開Ollama 后，你會看到一個標記為“發送消息”的字段，右下角會顯示一個可用模型的下拉列表，使用gpt-oss:20b作為默認模型。你可以選擇另外的模型，但不妨使用這個模型。
輸入任意提示。我先輸入“Write a letter”（寫一封信），Ollama開始下載12.4GB的模型數據。下載速度并不快。
圖1. 下載模型
下載完成后，你可以根據需要為gpt-oss-20b輸入提示，然后點擊箭頭按鈕提交請求。
圖2. 輸入提示
如果你介意使用GUI，也可以從命令提示符運行Ollama。我建議這么做，因為CLI 提供了“詳細模式”，可以提供性能統計信息，比如完成查詢所需的時間。
要從命令提示符運行Ollama，請先輸入：
ollama run gpt-oss（如果這是你第一次運行此命令，它需要從互聯網下載模型。）然后，在命令提示符下輸入：
/set verbose最后，輸入你的提示。
圖3. 從命令行使用 Ollama
如何在Linux上運行gpt-oss-20b？
如果你尚未使用Linux 終端，請先啟動終端。然后在命令提示符下輸入以下命令：
curl -fsSL https://ollama.com/install.sh | sh然后，你需要等待軟件下載并安裝。
圖4. 在Linux上安裝 Ollama
然后輸入以下命令啟動 Ollama，使用gpt-oss:20b作為模型。
ollama run gpt-oss你的系統需要下載大約13GB的數據，然后你才能輸入第一個提示。
圖5. 在Linux 上運行Ollama
我建議通過輸入以下命令打開詳細模式：
/set verbose然后輸入你的提示。
如何在Mac上運行gpt-oss-20b？
如果你使用現代Mac（M1 或更高版本），運行gpt-oss-20b就像在Windows上運行一樣簡單。先下載并運行macOS版本的Ollama安裝程序。
圖6. 在macOS上安裝 Ollama
啟動Ollama，確保所選擇的模型是gpt-oss:20b。
圖7. 在macOS上啟動Ollama
現在輸入你的提示，點擊向上箭頭按鈕，就可以上手了。
gpt-oss-20b 的性能：預期結果
為了了解gpt-oss-20b在本地計算機上的性能表現，我們在三臺不同的設備上測試了兩個不同的提示。首先，我們要求gpt-oss-20b“Write a fan letter to Taylor Swift, telling her how much I love her songs”（寫一封信給Taylor Swift，告訴她我有多喜歡她的歌曲），然后給出簡單得多的提示“Who was the first president of the US?”（誰是美國第一任總統？）。
我們使用以下硬件測試了這些提示：
- 聯想ThinkPad X1 Carbon筆記本電腦，搭載酷睿Ultra 7-165U CPU和64GB LPDDR5x-6400 RAM。
- 蘋果MacBook Pro，搭載M1 Max CPU和32GB LPDDR5x-6400 RAM。
- 自己搭建的PC，搭載獨立英偉達RTX 6000 Ada GPU、AMD Ryzen 9 5900X CPU和128GB DDR4-3200 RAM。
在ThinkPad X1 Carbon上，性能很差，主要是由于Ollama沒有充分利用其集成顯卡或神經處理單元（NPU）。它花了整整10分13秒才輸出一封600字長的信給Taylor Swift。與所有面向gpt-oss-20b的提示一樣，系統花了一兩分鐘的時間在所謂“思考”的過程中展示其推理過程。之后，它會顯示輸出。用兩句話簡單地回答“誰是美國第一任總統？”用時51秒。
圖8. gpt-oss-20b始終顯示其思考過程
但至少我們寫給Taylor的信充滿了感人肺腑的歌詞，比如：“Taylor，這不僅僅是歌曲，更是體現了你的真誠。你把你的傷疤變成了詩句，把你的勝利變成了合唱?！?/p>
盡管內存速度相同，但MacBook的表現遠超ThinkPad，它在26秒內生成了粉絲來信，并在短短3秒內回答了第一任總統的問題。正如我們所料，搭載RTX 6000的臺式機僅用6秒就寫好了信，在不到半秒的時間內給出了第一任總統是喬治?華盛頓的回答。
總的來說，如果你在配備強大GPU的系統或新款Mac上運行該LLM，你將獲得良好的性能。如果你使用基于英特爾或AMD處理器的筆記本電腦，搭載Ollama不支持的集成顯卡，處理任務將被轉移到CPU，你在輸入提示后可能想去吃個午飯?；蛘?，你可以試試LMStudio，這是另一個在PC上本地運行LLM的流行應用程序。
原文標題：How to run OpenAI's new gpt-oss-20b LLM on your computer，作者：Avram Piltch
