?本文介紹了如何使用Groq LPU推理引擎在Jan AI和VSCode中生成超快速響應。

每個人都致力于構建更好的大語言模型(LLM)，而Groq專注于AI的基礎設施方面，旨在確保這些大模型更快速響應。

本教程將介紹Groq LPU推理引擎以及如何在筆記本電腦上使用API和Jan AI本地訪問它。本文還將把它整合到VSCode中，以幫助我們生成代碼、重構代碼、記入文檔并生成測試單元。本文將免費創建我們自己的人工智能編程助手。

Groq LPU推理引擎簡介

Groq LPU(語言處理單元)推理引擎旨在為擁有順序組件的計算密集型應用程序(比如LLM)生成快速響應。

與CPU和GPU相比，LPU擁有更強大的算力，這減少了預測單詞所需的時間，大大加快了生成文本序列的速度。此外，與GPU相比，LPU還可以處理內存瓶頸，從而在LLM上提供更好的性能。

簡而言之，Groq LPU技術使你的LLM超級快速，實現實時AI應用。不妨閱讀Groq ISCA 2022論文(https://wow.groq.com/isca-2022-paper/)，以了解關于LPU架構的詳細信息。

安裝Jan AI

Jan AI是一個桌面應用程序，在本地運行開源和專有的大語言模型。它提供Linux、macOS和Windows版本供人下載。我們將下載Jan AI并安裝在Windows中，為此進入到https://github.com/janhq/jan/releases，點擊擴展名為“.exe”的文件。

如果你想在本地使用LLM以增強隱私，請閱讀《在筆記本電腦上使用LLM的5種方法》博文(https://www.kdnuggets.com/5-ways-to-use-llms-on-your-laptop)，開始使用最先進的開源語言模型。

創建Groq Cloud API

要在Jan AI中使用Grog Llama 3，我們需要一個API。為此，我們將進入到https://console.groq.com/，創建一個Groq Cloud帳戶。

如果你想要測試Groq提供的各種模型，無需任何設置就能做到這一點，只需進入到Playground選項卡，選擇模型，并添加用戶輸入。

在本文這個例子中，它非常快，每秒生成310個token，這是我迄今見過的最快速度。連Azure AI或OpenAI也無法獲得這種類型的結果。

要生成API密鑰，點擊左側面板上的“API密鑰”按鈕，然后點擊“創建API密鑰”按鈕，創建并復制API密鑰。

在Jan AI中使用Groq

在下一步中，我們將把Groq Cloud API密鑰粘貼到Jan AI應用程序中。

啟動Jan AI應用程序，進入到設置，在擴展部分選擇“Groq推理引擎”選項，并添加API密鑰。

然后，返回到線程窗口。在模型部分，在“Remote”部分選擇Groq Llama 370B，開始輸入提示。

響應生成的速度太快了，我都跟不上了。

注意：該API的免費版本有一些限制。請訪問https://console.groq.com/settings/limits，了解有關它們的更多信息。

在VSCode中使用Groq

接下來，我們將嘗試將相同的API密鑰粘貼到CodeGPT VSCode擴展中，并構建自己的免費AI編程助手。

在擴展選項卡中搜索CodeGPT擴展，安裝它。

CodeGPT選項卡將出現，以便你選擇模型提供方。

當你選擇Groq作為模型提供方時，它將要求你提供API密鑰。只需粘貼相同的API密鑰，我們就可以開始了。你甚至可以為CodeGPT生成另一個API密鑰。

現在我們將要求它為蛇游戲編寫代碼。生成并運行代碼只花了10秒鐘。

下面演示了我們的蛇游戲。

不妨了解五大AI編程助手(https://www.kdnuggets.com/top-5-ai-coding-assistants-you-must-try)，成為AI驅動的開發人員和數據科學家。記住，人工智能旨在幫助我們，而不是取代我們，所以不妨對它持開放的心態，用它來提高代碼編寫水平。

結論

我們在本教程中了解了Groq推理引擎以及如何使用Jan AI Windows應用程序在本地訪問它。最后，我們通過使用CodeGPT VSCode擴展，將其整合到我們的工作流中，這真是太棒了。它實時生成響應，以獲得更好的開發體驗。

原文標題：Using Groq Llama 3 70B Locally: Step by Step Guide，作者：Abid Ali Awan

鏈接：

https://www.kdnuggets.com/using-groq-llama-3-70b-locally-step-by-step-guide。