十分鐘手把手教學：用DeepSeek4j開發私有大模型知識庫
作者：冷冷
deepseek4j 提供了一套強大的 API，涵蓋了 Reasoner、Function Calling、JSON 解析等特性。本工具旨在簡化 DeepSeek API 的集成，讓開發者能夠快速調用相關能力并集成到自己的應用中。
背景
deepseek4j 提供了一套強大的 API，涵蓋了 Reasoner、Function Calling、JSON 解析等特性。本工具旨在簡化 DeepSeek API 的集成，讓開發者能夠快速調用相關能力并集成到自己的應用中。
然而，DeepSeek 官方并未提供向量模型，因此本工具在最初設計時未考慮向量搜索的集成。
現狀
- deepseek4j 已全面支持 DeepSeek 的 Reasoner、Function Calling、JSON 解析等功能。
- R1 模型的私有知識庫需求正在增長，許多開發者希望在 DeepSeek 之上實現私有知識庫。
經過深入的技術方案評估，我們選擇了一個優雅的解決方案：通過兼容 OpenAI 協議標準來集成向量模型能力。這種方案具有以下優勢：
- 零額外依賴：無需引入新的依賴包，保持框架輕量
- 完美兼容性：與現有架構無縫銜接，確保向后兼容
- 標準化接入：采用業界通用的 OpenAI 協議，降低學習成本
詳細的技術討論和方案細節可參考 GitHub Issue：[RFC] 向量化模型支持 #15
快速上手
本文章將帶領大家從零開始構建一個基礎 RAG 系統。通過白盒編碼的方式，不僅能深入理解 RAG 的核心原理，還可以根據實際需求靈活調整和優化各個環節。相比直接使用現有的開源 RAG 產品，這種方式能讓我們更好地掌控系統行為，實現更精準的知識檢索和問答效果。
1739407145
1. 環境準備
在開始構建 RAG 系統之前，我們需要準備以下環境：
1.1 Ollama 模型準備
首先安裝 Ollama，然后下載以下必要的模型：
# 下載推理模型 - 用于理解和生成回答
ollama run deepseek-r1:14b
# 下載向量模型 - 用于文本向量化
ollama run bge-m3:latest1.2 向量數據庫準備
本文使用 Milvus 作為向量數據庫，你可以選擇以下兩種方式之一進行安裝：
方式一：使用 milvus 測試環境
- 訪問 Zilliz Cloud 中文版：https://cloud.zilliz.com.cn
- 獲取連接信息（后續配置需要用到）
方式二：Docker 安裝
# 1. 下載安裝腳本
curl -sfL https://raw.githubusercontent.com/milvus-io/milvus/master/scripts/standalone_embed.sh -o standalone_embed.sh
# 2. 啟動 Docker 容器
bash standalone_embed.sh start
注意：如果選擇 Docker 安裝方式，請確保你的網絡環境能夠正常訪問 Github。
- 初始化向量數據：創建本次知識庫存儲、獲取鏈接信息和表信息：
1739410521
1.3 項目依賴
在你的 Maven 項目中添加以下依賴：
<dependency>
<groupId>io.github.pig-mesh.ai</groupId>
<artifactId>deepseek-spring-boot-starter</artifactId>
<version>1.4.0</version>
</dependency>
<!-- 鏈接 milvus SDK-->
<dependency>
<groupId>io.milvus</groupId>
<artifactId>milvus-sdk-java</artifactId>
<version>2.5.3</version>
</dependency>application.yml 配置
# 推理模型鏈接信息
deepseek:
base-url: http://127.0.0.1:11434/v1
model: deepseek-r1:14b
api-key: ollama-local
# 向量模型鏈接信息
embedding:
api-key: ${deepseek.api-key}
base-url: ${deepseek.base-url}
model: bge-m3:latest2. 初始化私有知識
在構建 RAG 系統時，第一步是將已有的知識內容轉換為向量形式并存儲到向量數據庫中。
2.1 創建鏈接 鏈接客戶端
// 1. Connect to Milvus server
ConnectConfig connectConfig = ConnectConfig.builder()
.uri(CLUSTER_ENDPOINT) // 1.2 獲取的 Milvus 鏈接端點
.token(TOKEN) // 1.2 獲取的 Milvus 鏈接信息
.build();
MilvusClientV2 milvusClientV2 = new MilvusClientV2(connectConfig);2.2 準備資料并向量化上傳
以下示例為了節約篇幅，以處理純文本資料。對于 Office 文檔、圖片、PDF、音視頻等其他格式的文件處理，deepseek4j 提供了完整的解決方案，可點擊查看筆者開源的office2md 項目。
圖片
office2md 2.0 發布，支持并發視覺理解和圖片自我矯正。
@Autowired
EmbeddingClient embeddingClient;
{
// 這里以 2025最新的我司保密條例演示，可以換成你自己的
String law = FileUtil.readString("/Users/lengleng/Downloads/law.txt", Charset.defaultCharset());
String[] lawSplits = StrUtil.split(law, 400);
List<JsonObject> data = new ArrayList<>();
for (String lawSplit : lawSplits) {
List<Float> floatList = embeddingClient.embed(lawSplit);
JsonObject jsonObject = new JsonObject();
// 將 List<Float> 轉換為 JsonArray
JsonArray jsonArray = new JsonArray();
for (Float value : floatList) {
jsonArray.add(value);
}
jsonObject.add("vector", jsonArray);
jsonObject.addProperty("text", lawSplit);
data.add(jsonObject);
}
InsertReq insertReq = InsertReq.builder()
.collectionName("deepseek4j_test")
.data(data)
.build();
milvusClientV2.insert(insertReq);
}3. 創建 RAG 接口
@GetMapping(value = "/chat", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
public Flux<ChatCompletionResponse> chat(String prompt) {
MilvusClientV2 milvusClientV2 = new MilvusClientV2(connectConfig);
List<Float> floatList = embeddingClientOptional.get().embed(prompt);
SearchReq searchReq = SearchReq.builder()
.collectionName("deepseek4j_test")
.data(Collections.singletonList(new FloatVec(floatList)))
.outputFields(Collections.singletonList("text"))
.topK(3)
.build();
SearchResp searchResp = milvusClientV2.search(searchReq);
List<String> resultList = new ArrayList<>();
List<List<SearchResp.SearchResult>> searchResults = searchResp.getSearchResults();
for (List<SearchResp.SearchResult> results : searchResults) {
System.out.println("TopK results:");
for (SearchResp.SearchResult result : results) {
resultList.add(result.getEntity().get("text").toString());
}
}
ChatCompletionRequest request = ChatCompletionRequest.builder()
// 根據渠道模型名稱動態修改這個參數
.model("deepseek-r1:14b")
.addUserMessage(String.format("你要根據用戶輸入的問題：%s \n \n 參考如下內容： %s \n\n 整理處理最終結果", prompt, resultList)).build();
return deepSeekClient.chatFluxCompletion(request);
}前端測試
1739410900
總結
本文通過以下核心步驟快速構建了基礎 RAG 系統：
- 環境準備：部署推理模型和向量模型
- 知識庫構建：向量化存儲
- 檢索增強：通過語義搜索獲取關聯知識
- 推理生成：結合上下文生成最終回答
要讓 RAG 系統達到生產可用水平，每個環節都需要進一步優化和完善：
- 檢索策略優化：結合關鍵詞和語義的混合檢索，提高召回準確度
- 重排序優化：對檢索結果進行二次排序，確保最相關內容排在前面
- 提示詞工程：優化 Prompt 模板，引導模型生成更準確的回答
- 知識庫管理：定期更新和維護知識庫，保證數據時效性
- 性能調優：優化向量檢索和模型推理的性能
責任編輯：武曉燕
來源：
JAVA架構日記
