用本地文件調教 DeepSeek
在當今數字化的時代，信息和知識如同浩瀚的海洋，而我們每個人都要在其中尋找屬于自己的寶藏。
想象一下，作為一名醫生，你手中握有海量的科研資料，它們如同一座座知識的孤島，等待著被探索和整合。如果能夠擁有一位專屬的“知識機器人”，它不僅能夠學習并吸收你所有的資料，還能在你需要時，迅速為你提供精準的答案，這將是多么令人向往的事情啊！
你無需再耗費大量時間在繁瑣的資料檢索中，只需簡單地向它提問，答案便如自來水般涌現。這，便是本地部署與知識庫結合的神奇之處。它不僅僅是一個技術的應用，更是一種對個人智慧的賦能。
而這一切，正是 DeepSeek 等大模型所賦予我們的獨特價值。它陽光普照，讓知識的邊界得以無限拓展，讓智慧的光芒得以更加令人唾手可得。
牛刀小試
首先，我們編寫一個簡單的 markdown 文件，內容如下：
三角形分類
- 黃金三角形就是三個角的大小比例為 1:2:3 的三角形。
- 白銀三角形就是三個角的大小比例為 2:3:4 的三角形。
- 青銅三角形就是三個角的大小比例為 1:1:4 的三角形。
- 爛鐵三角形就是三個角的大小的比例為 1:3:8 的三角形。取個名字，比如 知識荒漠.md，當然把它導出為 pdf 格式也是可以的。當然，一般來說你會有很多這類文件。然后，把它們導入到本地知識庫，后面會講具體如何操作。
這里提一下，黃金三角形和白銀三角形本身是有這樣的定義，但我們這里隨便下點定義，為了看看 DeepSeek 作何反應。而后面兩個是沒有的，完全是我們杜撰的，可以理解為要喂給大模型的新知識。
好了，開始調戲本地的 DeepSeek。
比如問它：請解釋下青銅三角形。
由于實際中并沒有這個定義，所以它只能從我們本地知識庫中獲得這個知識，加上它自己的推理，構建了具體的概念并總結了一些性質，雖然它有些謹慎。
再問它：請解釋下黃金三角形。
由于實際中有這個定義，但是它又看到了本地知識庫中的這個概念，顯然它們不一致，所以 DeepSeek 有些糾結，但會結合它自己的推理來決定最終怎么解釋。
可見 DeepSeek 還是很聰慧的，不會輕易被外部知識誤導。
另外，如果你嫌 AI 大模型翻譯得不到位，是不是可以給它喂一些本地知識調教它呢！
大致原理
DeepSeek 讀取本地知識庫主要是通過檢索增強生成（Retrieval-Augmented Generation，RAG）技術實現的。以下是具體實現過程：
- 向量嵌入模型：需要一個嵌入模型（如nomic-embed-text? 或BAAI/bge-m3）將本地知識庫中的文本內容轉換為向量形式。這些向量會被存儲到向量數據庫（如 LanceDB）中。
- 知識庫的創建與配置：在本地部署 DeepSeek 的基礎上，通過相關工具（如Cherry Studio）配置嵌入模型和向量數據庫。創建知識庫時，選擇已配置的嵌入模型，上傳本地文件進行向量化處理。
- RAG 技術：當用戶提問時，RAG 技術會利用向量數據庫中的向量數據，通過檢索找到與問題最相關的知識庫內容。DeepSeek 會結合檢索到的知識庫內容生成回答。
- 模型與工具：DeepSeek R1 等模型通過 API 配置到各種工具中（如Cherry Studio），以實現對本地知識庫的讀取和處理。通過上述技術，DeepSeek 能夠高效地讀取和利用本地知識庫，為用戶提供精準的回答。
可能你會想這與直接以附件形式上傳給大模型有什么區別？這個留給大家自己琢磨吧。好了，原理大致了解了，讓我們動手吧。
本地部署
一、安裝 Ollama
- 訪問 Ollama 官網：前往 Ollama 官網，點擊 Download 按鈕。
- 下載安裝包：根據你的操作系統選擇對應的安裝包。下載完成后，直接雙擊安裝文件并按照提示完成安裝。
- 驗證安裝：安裝完成后，在終端輸入以下命令，檢查 Ollama 版本：
ollama --version如果輸出版本號（例如 ollama version is 0.2.8），則說明安裝成功。
?二、下載并部署 DeepSeek 模型
- 選擇模型版本：
入門級：1.5B 版本，適合初步測試。
中端：7B 或 8B 版本，適合大多數消費級 GPU。
高性能：14B、32B 或 70B 版本，適合高端 GPU。
- 下載模型：打開終端，輸入以下命令下載并運行 DeepSeek 模型。例如，下載 8B 版本的命令為：
ollama run deepseek-r1:8b如果需要下載其他版本，可以參考以下命令：
ollama run deepseek-r1:7b # 7B 版本
ollama run deepseek-r1:14b # 14B 版本
ollama run deepseek-r1:32b # 32B 版本- 啟動 Ollama 服務：在終端運行以下命令啟動 Ollama 服務：
ollama serve服務啟動后，可以通過訪問 http://localhost:11434 來與模型進行交互。
三、安裝并配置 Cherry Studio
- 下載 Cherry Studio：
- 訪問 Cherry Studio 官網，選擇適配你操作系統的版本進行下載安裝。
- 配置模型服務：
- 打開 Cherry Studio，進入 “模型服務” 設置。
- 添加 Ollama 作為模型服務提供商，輸入 Ollama 服務的地址（默認為 http://localhost:11434）。
- 添加 DeepSeek 模型：
- 在 Cherry Studio 中，點擊 “管理” 按鈕，選擇 “添加模型”。
- 輸入模型名稱 deepseek-r1:8b? 或其他版本，點擊 “添加”。
- 測試連通性，點擊 “檢查” 按鈕，看到綠色對勾表示測試通過。
本地知識庫
一、搭建本地知識庫
- 下載嵌入模型：我們下載 BGE-M3，它是由 BAAI（北京智源人工智能研究院）發布的多語言長文本向量檢索模型。BGE-M3 支持超過 100 種語言，訓練數據覆蓋了 170 多種語言。
通過如下命令下載這個嵌入模型。
ollama pull bge-m3- 添加嵌入模型：
- 點擊 “管理” 按鈕，選擇 “嵌入”，添加嵌入模型（如 bge-m3），用于文檔拆分和理解。
- 點擊 “確認” 后，嵌入模型將被添加到系統中。
- 添加本地知識庫：
- 點擊左側的 “知識庫” 按鈕，選擇并添加本地文檔。
- 填寫知識庫名稱，選擇嵌入模型。
- 上傳本地文件（支持文件、目錄、網址、筆記等），例如你要學習的一堆文獻。
二、使用知識庫
- 選擇知識庫：
- 在 Cherry Studio 的聊天窗口中，點擊知識庫圖標，選中之前創建的知識庫。
- 例如，選擇名為 “知識荒漠” 的知識庫。
- 聊天、提問：
- 在聊天區域輸入問題，Cherry Studio 將調用 DeepSeek 模型，結合知識庫內容生成回答。
通過上述步驟，你可以在本地成功部署 DeepSeek 模型，構建了本地知識庫，并通過 Cherry Studio? 的可視化界面進行交互。Cherry Studio 提供了豐富的功能，包括對話知識庫、聯網搜索、多模型接入等，非常適合新手快速上手。
最后，如果還想要 DeepSeek 結合搜索的話，可以使用瀏覽器插件 Page Assist。
?
圖片
?
本文轉載自???機器學習與數學???，作者：大師兄
