一文讀懂本地運行 LLM 的優秀實踐方法
Hello folks，我是 Luga，今天我們來聊一下人工智能(AI)生態領域相關的技術 - LLM -常見的本地運行 LLM 方法。
眾所周知，如今使用 ChatGPT 等大型模型工具變得異常簡單，只需通過瀏覽器在線訪問即可。然而，需要注意的是，這種方式可能對我們的隱私和數據造成一些潛在影響，這一點需要格外小心。像主流的 OpenAI 等平臺會存儲我們所構建的提示、響應以及其他元數據，以便重新訓練模型。雖然對于某些人來說這并不構成問題，但注重隱私的人往往更傾向于在本地使用這些模型，以確保在交互過程中沒有任何外部跟蹤的情況下保護隱私。
在本文中，我們將探討常見的三種在本地使用 LLM 的方法。大多數軟件都與各種主要操作系統兼容，并且可以輕松下載和安裝，以供大家直接上手。
Ollama
作為一個開源平臺，Ollama 使我們能夠在本地計算機上直接運行 Llama 3、Mistral 和 Gemma 等大型語言模型(LLM)。這意味著我們可以充分利用這些人工智能模型的強大功能，而無需依賴基于云的服務。通過使用 Ollama，我們可以在本地進行各種任務，獲得高效而便捷的體驗。
不論是自然語言處理、文本生成還是其他應用領域，我們都可以在掌握自己的數據和隱私的同時，充分發揮 LLM 的潛力。不再受制于云端服務的限制，我們可以靈活地定制和配置模型，以滿足特定需求，并在本地環境中獲得更高的性能和效率。這為我們提供了更大的控制權和靈活性，同時降低了對外部云端服務的依賴。
基于 Ollama，我們可以拓展我們的研究和開發能力，探索更廣泛的應用場景，并且在保護數據隱私方面更加安心。我們可以在本地環境中充分利用這些強大的語言模型，解決復雜的問題，推動創新的進展。總之，Ollama 為我們提供了一個強大且可靠的方式，讓我們能夠本地運行 LLM，釋放出其全部潛力。
這里，我們以 Mac 平臺為例，簡單地部署運行 Llama 3 大模型，具體可參考如下步驟所示：
[lugalee@Labs ~ ]% docker pull ollama/ollama
Using default tag: latest
latest: Pulling from ollama/ollama
d5a2ad729c09: Pull complete
e917c61587da: Pull complete
57bc2d1a456b: Downloading [==================> ] 104.2MB/277.6MB
...
Status: Downloaded newer image for ollama/ollama:latest
docker.io/ollama/ollama:latest
[lugalee@Labs ~ ]% docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
cef2b5f8510c1f995b6500e79052dd141ce03649f2137c6d8c6bdef04ff3c6da
[lugalee@Labs ~ ]% docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
cef2b5f8510c ollama/ollama "/bin/ollama serve" 6 seconds ago Up 5 seconds 0.0.0.0:11434->11434/tcp, :::11434->11434/tcp ollama# ollama run llama3
pulling manifest
pulling 6a0746a1ec1a... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 4.7 GB
pulling 4fa551d4f938... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 12 KB
pulling 8ab4849b038c... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 254 B
pulling 577073ffcc6c... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 110 B
pulling 3f8eb4da87fa... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 485 B
verifying sha256 digest
writing manifest
removing any unused layers
success 
Ollama 不僅提供了直接在本地運行 LLM 的便利性，還具備了出色的擴展性和集成能力。這款開源平臺允許開發者在本地啟動HTTP服務器，將強大的 LLM 能力對接到各類應用程序中，大大拓展了 AI 助手的應用邊界。
舉例來說，通過集成 Ollama 的本地 HTTP 服務器，我們可以將其無縫融入到廣受歡迎的 Code GPT VSCode 擴展之中。開發人員只需在擴展中配置本地服務器地址，便可立即體驗到 LLM 在代碼編寫、優化、錯誤修復等方面的神級輔助能力。不再被云服務的延遲、隱私泄露等問題所困擾，開發者可以盡情釋放 LLM 的潛能，大幅提高工作效率和代碼質量。
Ollama 本地服務器的優勢并不僅限于此。無論是網站開發中的內容生成、商業分析領域的智能決策支持，還是個人生活中的文本寫作助手，Ollama 都可以作為底層 LLM 引擎，為各類應用程序賦能，讓人工智能無所不在。更妙的是，這一切僅需在本地計算機上運行 Ollama，就能暢享 LLM 的強大功能，而無需昂貴的云服務費用。
GPT4ALL
基于海量數據訓練而成的AI模型，展現出了令人驚嘆的自然語言處理能力，在文本理解、生成、推理等多個領域引領了技術革新。然而，龐大的計算資源需求也使絕大多數普通用戶和中小企業無緣于LLMs強大的能力。
正是基于這一現狀，GPT4All 生態系統應運而生，旨在打造最佳的教學調整助理風格語言模型，突破LLM模型的資源枷鎖，讓每個個人和企業都能自由使用、分發和構建定制化的大規模語言模型。
GPT4All 生態系統的核心是經過優化的 LLM 模型文件，體積僅為 3GB-8GB，卻蘊含著卓越的自然語言處理實力。用戶只需下載并集成這些模型文件，即可立即體驗到強大的 AI 助理功能，無需耗費高昂的云服務費用。更重要的是，這些模型可在普通消費級 CPU 上高效運行，解決了傳統 LLM 在終端設備上部署的痛點。
除了開箱即用的優化模型，GPT4All 生態系統還提供了靈活的模型訓練和定制化工具鏈。無論是個人開發者還是企業用戶，都可以基于 GPT4All 的框架，使用自有數據為 LLM 模型進行教學微調，從而量身定制出符合自身需求的專屬 AI 助手。
GPT4All 生態系統并非只是一個提供優化語言模型的平臺，而更是一個極具實用價值的人工智能助手。通過提供對重要文檔和代碼庫的訪問權限，GPT4All 能夠充分發揮其檢索增強生成(Retrieval-Augmented Generation)的強大能力，為用戶生成高度相關且信息豐富的響應。
具體來說，用戶可以指定 GPT4All 模型訪問包含了諸如產品文檔、技術手冊、法律合同等重要文件的文件夾，甚至是龐大的代碼庫。GPT4All 會自動分析和索引這些內容，將其與語言模型的知識庫相結合，形成一個涵蓋范圍廣闊的語義知識圖譜。在此基礎上，當用戶提出查詢或請求時，GPT4All 不僅會基于模型本身的知識進行回答，更會從相關文檔和代碼中檢索并綜合相關信息，從而生成令人驚艷的高質量響應。
這一檢索增強生成的能力使 GPT4All 的應用場景得到極大擴展。無論是企業級的智能知識庫構建、代碼分析和優化，還是個人層面的寫作輔助和信息整合，GPT4All 都能發揮出超乎想象的威力，成為全場景下的得力智能助手。
在 GPT4All 生態系統中，本地大型語言模型(Local LLMs)的運行效率是一個值得重點關注的問題。推理速度直接決定著用戶的交互體驗，過于滯緩的響應將極大影響模型的實用價值。
影響本地 LLM 推理速度的兩大關鍵因素是：模型的規模大小，以及輸入的文本上下文令牌數量。一般來說，模型越大，對應的計算需求就越高;而輸入上下文越長，模型也需要消耗更多資源進行處理。因此，在本地 CPU 環境下運行體積龐大、輸入上下文冗長的 LLM 模型時，往往會遇到推理速度嚴重下降的問題。
為了避免這一情況，GPT4All 團隊給出了明確的建議：如果需要處理的上下文窗口超過750個令牌，最好將 LLM 模型部署在 GPU 環境中運行。這不僅能最大程度地發揮模型性能，還可確保在處理大量上下文時，保持流暢高效的推理速度。事實上，GPT4All 在開發路線圖中已經計劃支持所有型號的 LLM 在 GPU 上本地化運行，以滿足需求更加苛刻的場景。
不難看出，GPT4All 團隊在系統設計上體現了極高的務實性和前瞻性。他們深知終端設備的算力限制，因而采取了針對性的優化措施，最大限度挖掘硬件性能，為用戶帶來流暢一致的本地 LLM 體驗。
除了 GPU 加速，GPT4All 還在模型層面進行了多方面的優化，以提升在 CPU 環境下的推理效率。這包括模型剪枝、量化、知識蒸餾等前沿技術的應用，有效降低了模型在保持性能的同時所需的內存和算力資源。這些創新策略的實現，再次印證了 GPT4All 團隊在 AI 算法和系統架構方面的卓越能力。
可以說，推理加速是 GPT4All 賴以立足的技術支柱。只有確保 Local LLMs 能快速流暢地響應，GPT4All 才能真正釋放 LLM 的全部價值，為用戶提供無縫的智能體驗。因此，我們有理由相信，隨著 GPU 本地化支持的到來，以及更多優化技術的推出，GPT4All 生態系統的性能將再獲質的飛躍，繼續引領本地 LLM 的未來發展方向。
LLaMA.cpp
在推動人工智能大眾化、本地化進程中，LLaMA.cpp 無疑扮演著先鋒的角色。作為一款高度通用的工具，它為用戶提供了在本地輕松使用任何開源大型語言模型(Open Source LLMs)的便利，消除了云服務依賴及其帶來的種種顧慮。
LLaMA.cpp 的設計理念是賦能和自由，它以命令行界面(CLI)和圖形用戶界面(GUI)兩種方式為用戶開啟通往本地 LLM 世界的大門。無論是資深開發者還是新手用戶，都能在 LLaMA.cpp 的引導下，快速上手并充分挖掘本地 LLM 的潛力。
更為值得一提的是，LLaMA.cpp 背后有著堅實的技術實力支撐。作為一款純 C/C++ 編寫的工具，它展現出了令人贊嘆的性能表現。對于任何查詢請求，LLaMA.cpp 都能在瞬間作出響應，完全避免了網絡延遲等問題，給用戶帶來流暢、高效的本地 LLM 體驗。
這種出色的響應速度源自 LLaMA.cpp 對開源 LLM 模型的深度優化。工具內置了諸如模型剪枝、量化、知識蒸餾等多種先進技術，有效降低了模型在 CPU 和 GPU 環境下的計算資源占用，確保即使在普通個人電腦上，也能夠發揮 LLM 的最大潛能。
可以說，LLaMA.cpp 是 GPT4All 等本地 LLM 生態系統中的佼佼者。憑借多方位的優化支持，用戶無需高端硬件，即可輕松調用各種開源大模型，在本地完成文本生成、問答、代碼編寫等多種任務。
與此同時，LLaMA.cpp 還為用戶保留了充分的自主權。作為一款高度可定制的工具，它提供了豐富的自定義選項，允許用戶根據自身需求調整模型參數、設置偏好，甚至可以在本地對模型進行微調和再訓練。這種"開箱即用"但又"可自由改造"的特性，充分契合了人工智能 “Democratization” 的理念。
$ make -j && ./main -m models/llama-13b-v2/ggml-model-q4_0.gguf -p "Building a website can be done in 10 simple steps:\nStep 1:" -n 400 -e
I llama.cpp build info:
I UNAME_S: Darwin
I UNAME_P: arm
I UNAME_M: arm64
I CFLAGS: -I. -O3 -std=c11 -fPIC -DNDEBUG -Wall -Wextra -Wpedantic -Wcast-qual -Wdouble-promotion -Wshadow -Wstrict-prototypes -Wpointer-arith -Wmissing-prototypes -pthread -DGGML_USE_K_QUANTS -DGGML_USE_ACCELERATE
I CXXFLAGS: -I. -I./common -O3 -std=c++11 -fPIC -DNDEBUG -Wall -Wextra -Wpedantic -Wcast-qual -Wno-unused-function -Wno-multichar -pthread -DGGML_USE_K_QUANTS
I LDFLAGS: -framework Accelerate
I CC: Apple clang version 14.0.3 (clang-1403.0.22.14.1)
I CXX: Apple clang version 14.0.3 (clang-1403.0.22.14.1)
make: Nothing to be done for `default'.
main: build = 1041 (cf658ad)
main: seed = 1692823051
llama_model_loader: loaded meta data with 16 key-value pairs and 363 tensors from models/llama-13b-v2/ggml-model-q4_0.gguf (version GGUF V1 (latest))
llama_model_loader: - type f32: 81 tensors
llama_model_loader: - type q4_0: 281 tensors
llama_model_loader: - type q6_K: 1 tensors
llm_load_print_meta: format = GGUF V1 (latest)
llm_load_print_meta: arch = llama
llm_load_print_meta: vocab type = SPM
llm_load_print_meta: n_vocab = 32000
llm_load_print_meta: n_merges = 0
llm_load_print_meta: n_ctx_train = 4096
llm_load_print_meta: n_ctx = 512
llm_load_print_meta: n_embd = 5120
llm_load_print_meta: n_head = 40
llm_load_print_meta: n_head_kv = 40
llm_load_print_meta: n_layer = 40
llm_load_print_meta: n_rot = 128
llm_load_print_meta: n_gqa = 1
llm_load_print_meta: f_norm_eps = 1.0e-05
llm_load_print_meta: f_norm_rms_eps = 1.0e-05
llm_load_print_meta: n_ff = 13824
llm_load_print_meta: freq_base = 10000.0
llm_load_print_meta: freq_scale = 1
llm_load_print_meta: model type = 13B
llm_load_print_meta: model ftype = mostly Q4_0
llm_load_print_meta: model size = 13.02 B
llm_load_print_meta: general.name = LLaMA v2
llm_load_print_meta: BOS token = 1 '<s>'
llm_load_print_meta: EOS token = 2 '</s>'
llm_load_print_meta: UNK token = 0 '<unk>'
llm_load_print_meta: LF token = 13 '<0x0A>'
llm_load_tensors: ggml ctx size = 0.11 MB
llm_load_tensors: mem required = 7024.01 MB (+ 400.00 MB per state)
...................................................................................................
llama_new_context_with_model: kv self size = 400.00 MB
llama_new_context_with_model: compute buffer total size = 75.41 MB
system_info: n_threads = 16 / 24 | AVX = 0 | AVX2 = 0 | AVX512 = 0 | AVX512_VBMI = 0 | AVX512_VNNI = 0 | FMA = 0 | NEON = 1 | ARM_FMA = 1 | F16C = 0 | FP16_VA = 1 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 0 | VSX = 0 |
sampling: repeat_last_n = 64, repeat_penalty = 1.100000, presence_penalty = 0.000000, frequency_penalty = 0.000000, top_k = 40, tfs_z = 1.000000, top_p = 0.950000, typical_p = 1.000000, temp = 0.800000, mirostat = 0, mirostat_lr = 0.100000, mirostat_ent = 5.000000
generate: n_ctx = 512, n_batch = 512, n_predict = 400, n_keep = 0
Building a website can be done in 10 simple steps:
Step 1: Find the right website platform.
Step 2: Choose your domain name and hosting plan.
Step 3: Design your website layout.
Step 4: Write your website content and add images.
Step 5: Install security features to protect your site from hackers or spammers
Step 6: Test your website on multiple browsers, mobile devices, operating systems etc…
Step 7: Test it again with people who are not related to you personally – friends or family members will work just fine!
Step 8: Start marketing and promoting the website via social media channels or paid ads
Step 9: Analyze how many visitors have come to your site so far, what type of people visit more often than others (e.g., men vs women) etc…
Step 10: Continue to improve upon all aspects mentioned above by following trends in web design and staying up-to-date on new technologies that can enhance user experience even further!
How does a Website Work?
A website works by having pages, which are made of HTML code. This code tells your computer how to display the content on each page you visit – whether it’s an image or text file (like PDFs). In order for someone else’s browser not only be able but also want those same results when accessing any given URL; some additional steps need taken by way of programming scripts that will add functionality such as making links clickable!
The most common type is called static HTML pages because they remain unchanged over time unless modified manually (either through editing files directly or using an interface such as WordPress). They are usually served up via HTTP protocols – this means anyone can access them without having any special privileges like being part of a group who is allowed into restricted areas online; however, there may still exist some limitations depending upon where one lives geographically speaking.
How to
llama_print_timings: load time = 576.45 ms
llama_print_timings: sample time = 283.10 ms / 400 runs ( 0.71 ms per token, 1412.91 tokens per second)
llama_print_timings: prompt eval time = 599.83 ms / 19 tokens ( 31.57 ms per token, 31.68 tokens per second)
llama_print_timings: eval time = 24513.59 ms / 399 runs ( 61.44 ms per token, 16.28 tokens per second)
llama_print_timings: total time = 25431.49 ms
無疑，這三款工具各具特色，但同時也存在一些共通之處。它們都基于完全開源的架構，代碼和模型細節對開發者透明，有利于吸引更多貢獻者加入，共同推動生態系統的繁榮發展。此外，它們均支持跨平臺、跨硬件環境的部署，確保無論用戶使用何種設備，都能獲得一致優質的本地 LLM 體驗。
最值得一提的是，這些工具都為用戶保留了對本地 LLM 的完全所有權和控制權。無需像使用云服務那樣將隱私數據托付于第三方，用戶可以完全掌控本地模型的輸入輸出，避免潛在的數據泄露風險，充分保障數據和知識產權的安全。
Reference ：
- [1] https://github.com/ollama/ollama?tab=readme-ov-file#ollama
- [2] https://github.com/nomic-ai/gpt4all
- [3] https://github.com/ggerganov/llama.cpp?tab=readme-ov-file
