C# 下的LLamaSharp：高效的本地LLM推理庫，自己寫GPT

作者：lyl 2024-08-13 08:23:43

LLamaSharp為C#開發者提供了一個強大的本地LLM推理庫，使得在本地設備上部署和使用LLaMA等模型變得簡單高效。通過其豐富的API接口和跨平臺支持，LLamaSharp為開發者提供了極大的靈活性和便利，是構建自定義GPT功能的理想選擇。

引言

隨著人工智能技術的快速發展，大語言模型（LLM）如ChatGPT、LLama等已成為研究和應用領域的熱點。然而，這些模型通常依賴于云服務，對于需要隱私保護或本地部署的場景來說，并不理想。幸運的是，LLamaSharp為C#開發者提供了一個高效的本地LLM推理庫，允許開發者在本地設備上運行LLaMA/LLaVA等模型，實現自定義的GPT功能。

LLamaSharp概述

LLamaSharp是一個基于C#/.NET的開源項目，它是llama.cpp的C#綁定，提供了高級API接口，使得開發者能夠在本地設備上利用C#進行LLaMA模型的推理和部署。LLamaSharp支持跨平臺運行，包括Windows、Linux和Mac，并且無需自己編譯llama.cpp，大大降低了使用門檻。

主要特性

跨平臺支持：LLamaSharp可以在Windows、Linux和Mac上運行，提供了CPU、CUDA、Metal和OpenCL等多種后端支持，確保在不同硬件上都能獲得高性能。
高性能推理：通過與從C++編譯的本地庫交互，LLamaSharp在CPU和GPU上的推理性能都非常高效。
豐富的API接口：LLamaSharp提供了包括模型量化和聊天會話在內的高級API，方便開發者在應用程序中部署和使用LLM。
模型格式支持：LLamaSharp使用GGUF格式的模型文件，這些文件可以從PyTorch（.pth）和Huggingface（.bin）格式轉換而來，為開發者提供了靈活的選擇。
集成與擴展：LLamaSharp還提供了與其他項目的集成，如semantic-kernel和kernel-memory，以及BotSharp集成，以支持更高層次的應用程序開發。

安裝與使用

安裝步驟

NuGet包安裝：在NuGet包管理器中安裝LLamaSharp及其后端包。例如，對于純CPU環境，可以安裝LLamaSharp和LLamaSharp.Backend.Cpu。

PM> Install-Package LLamaSharp
PM> Install-Package LLamaSharp.Backend.Cpu

模型準備：下載并準備好GGUF格式的模型文件。可以從Huggingface等網站搜索并下載已轉換好的模型文件，或者自行將PyTorch或Huggingface格式的模型轉換為GGUF格式。

使用示例

以下是一個簡單的使用LLamaSharp進行模型推理的示例代碼：

using LLama.Common;
using LLama;

namespace appLLama
{
    internal class Program
    {
        static async Task Main(string[] args)
        {
            string modelPath = @"E:\Models\llama-2-7b-chat.Q4_K_M.gguf"; // 替換為你的模型路徑
            var parameters = new ModelParams(modelPath)
            {
                ContextSize = 1024,
                GpuLayerCount = 5 // 根據GPU內存調整
            };

            using var model = LLamaWeights.LoadFromFile(parameters);
            using var context = model.CreateContext(parameters);
            var executor = new InteractiveExecutor(context);

            var chatHistory = new ChatHistory();
            chatHistory.AddMessage(AuthorRole.System, "Transcript of a dialog...");
            chatHistory.AddMessage(AuthorRole.User, "Hello, Bob.");
            chatHistory.AddMessage(AuthorRole.Assistant, "Hello. How may I help you today?");

            ChatSession session = new ChatSession(executor, chatHistory);
            InferenceParams inferenceParams = new InferenceParams()
            {
                MaxTokens = 256,
                AntiPrompts = new List<string> { "User:" }
            };

            Console.WriteLine("The chat session has started.");
            string userInput = Console.ReadLine() ?? "";

            while (userInput != "stop")
            {
                await foreach (var text in session.ChatAsync(new ChatHistory.Message(AuthorRole.User, userInput), inferenceParams))
                {
                    Console.WriteLine(text);
                }

                userInput = Console.ReadLine() ?? "";
            }
        }
    }
}

在這個示例中，我們首先加載模型并創建上下文，然后初始化一個聊天會話。通過ChatSession和InferenceParams，我們可以與模型進行交互，輸入用戶消息并獲取模型的回復。

高級功能

模型量化

LLamaSharp支持模型量化，以減少模型大小和提高推理速度。使用Quantizer.Quantize方法可以將模型進行量化：

string srcFilename = "<Your source path>";
string dstFilename = "<Your destination path>";
string ftype = "q4_0";
if (Quantizer.Quantize(srcFilename, dstFilename, ftype))
{
    Console.WriteLine("Quantization succeed!");
}
else
{
    Console.WriteLine("Quantization failed!");
}

Web API集成

LLamaSharp還提供了ASP.NET Core集成，允許開發者通過Web API接口調用LLM模型。這對于構建基于Web的應用程序非常有用。

結論

責任編輯：武曉燕來源：程序員編程日記