AI 大模型應用開發全攻略 原創
AI 大模型應用開發作為新興領域，不斷出現新的技術：LLM、Prompt、RAG、Agent、Fine-tuning、MCP 等，本文聚焦 AI 大模型應用開發，帶領大家入門，帶領大家了解 AI 大模型應用開發的全攻略。
盡管市面上的大語言模型（LLMs）種類繁多，但大家在使用時其實都是通過 API 來與大模型交互的。這些大模型的接口通常遵循一些通用的規范，比如： OpenAI 的標準。下面，我們就以 OpenAI 接口為例，來聊聊這些大模型都有哪些能力。
當你和大模型交流時，除了可以控制大模型輸出的隨機性之外，最關鍵的參數就是 Messages 和 Tools。可以說，現在市面上的各種大模型應用，都是基于這兩個參數設計的。
1、Messages - 大模型是如何“記住”對話的？
- Messages 是一個對話記錄的列表，里面的角色包括：
a.System：代表系統級別的指令，通常用來放置提示詞。
b.User：用戶發出的指令。
c.Assistant：LLM 給出的回復。
不同廠商可能會在這個基礎上增加一些額外的定義。
大模型所謂的“記憶”對話，其實是依賴于這個列表來傳遞信息的。
比如，第一輪對話中我告訴大模型我的名字。
第二輪對話時，如果問大模型我是誰，它就能“記住”我的名字。這是因為我在 Messages 列表中提供了這個名字信息。
提示詞的不穩定性：容易被指令注入攻擊。
看完這三張圖，我們來總結一下：
為什么大模型能“記住”之前的對話呢？其實，它并不是真的記住了，而是每次請求時，系統都會給它之前對話的內容。大模型的每次請求調用都是無狀態的，它的行為完全取決于你每次提供的信息。
那么，大模型的提示詞（Prompt）有什么用呢？提示詞可以進一步控制（或者說覆蓋）大模型的行為，具有高優先級，但同時也存在不穩定的風險。
希望這樣的解釋能幫助你更好地理解大語言模型的工作原理和它們的應用方式。
2、RAG - 檢索增強生成
讓我們深入了解一種重要的大模型應用范式：檢索增強生成，簡稱 RAG（Retrieval-Augmented Generation）。
簡單來說，RAG 就是利用檢索到的知識來提升生成答案的質量。舉個例子，假設我手頭有一堆關于數據倉庫的問題和答案（Q&A），我想基于這些 Q&A 來創建一個問答機器人，讓它能夠根據這些 Q&A 來回答用戶的問題。這個問答機器人的工作流程就是：檢索到的 Q&A -> 利用檢索到的 Q&A 來回復用戶，這正是 RAG 的典型應用場景。顯然，RAG 的最終目標是為用戶提供可靠的答案。
構建 RAG 鏈路相對簡單，但要達到好的效果卻不容易。從流程中我們可以發現兩個關鍵點：
知識庫檢索召回：這里需要解決如何檢索到最相關、最準確的答案。
基于知識庫的 LLM 回答：這里需要解決的是如何讓模型在眾多知識中給出自信且準確的回答。
這些都是業界正在不斷探索的問題，沒有統一的標準答案，只有最適合當前業務需求的方案。
3、Tools - 大模型能執行任何工具？
很多同學經常對大語言模型（LLM）的能力有所誤解，比如詢問大模型是否能執行數據庫操作，或者是否能將數據倉庫中的數據導入到對象存儲等。這些問題通常源于對大模型的“Tools”參數理解不足。
“Tools”是一個工具集合的數組，其中包含了工具的作用描述和所需參數，例如天氣查詢工具的定義如圖示。
使用這些工具時，通常需要兩次調用大模型：
第一次、將用戶的查詢和工具信息一起提供給模型，模型會根據這些信息推理出需要執行相應的工具及其參數。
后端系統根據大模型的選擇結果執行相應的工具，獲取結果。
第二次，再次請求大模型，此時上下文中包含了工具執行的結果，大模型基于這些信息生成回復。
總結一下
大模型本身并不能直接執行任何工具，但能決定接下來要執行哪些工具。一旦做出選擇，實際的工具執行將由配合的系統（通常是 Agent）完成并獲取結果。
4、ReAct - 推理 + 行動
接下來，我們可以探討第二個重要的大模型范式：ReAct（推理+行動）。
需要強調的是，大模型的許多范式都是對人類行為的模擬，因此我們可以通過生活中的案例來理解大模型。
案例：老板讓寫一份調研外部大模型框架的報告
工具：互聯網搜索、PPT、思維導圖
思考 (Reasoning): 需要調研外部大模型框架，明確調研目標是了解行業內的主要框架、特點和應用場景。需要先明確有哪些主流框架，然后針對性地收集資料。
行動 (Acting):
行動： 使用互聯網搜索“主流大模型框架 2024/2025”、“開源大模型框架”。
觀察 (Observation):
觀察： 搜索結果顯示：PyTorch、TensorFlow、JAX等是主流框架，還有一些新興框架如 MindSpore、Paddle 等。
思考 (Reasoning): 我已經拿到了想要的資料，接下來使用思維導圖搭建匯報思路
行動 (Acting):
行動： 使用思維導圖工具，搭建報告的初步框架，包括：框架名稱、開發語言、主要特點、優勢、劣勢、應用場景。
觀察 (Observation):
觀察： 初步框架包括：框架名稱、開發語言、主要特點（動態圖/靜態圖、分布式訓練支持等）、優勢、劣勢、應用場景（NLP、CV等）。
思考 (Reasoning): 信息基本收集完畢，需要將所有信息整理成結構化的報告，并使用PPT進行總結和分析。
行動 (Acting):
行動： 使用PPT工具，將思維導圖中的內容整理成PPT，并撰寫文字說明。
觀察 (Observation):
觀察： 完成了PPT初稿，內容比較全面，但需要進行排版美化。這個思考的流程就是 ReAct 模式。
5、Agent - 自主完成復雜任務
許多人可能已經注意到，大模型在數學計算方面并不擅長，如果直接用它們來做計算器，很容易出現錯誤。
這里，我們用 llama_index 的 Agent 框架來舉個例子：
1. 我們定義了三個工具函數：乘法、加法和減法。
2. 然后，我們構建了一個 Agent 來執行這些操作模式。
import os
from dotenv import load_dotenv
from llama_index.core.agent import ReActAgent
from llama_index.core.tools import FunctionTool
from llama_index.llms.azure_openai import AzureOpenAI
def multiply(a: int, b: int) -> int:
"""Multiply two integers and returns the result integer"""
return a * b
def add(a: int, b: int) -> int:
"""Add two integers and returns the result integer"""
return a + b
def subtract(a: int, b: int) -> int:
"""subtract two integers and returns the result integer"""
return a - b
# 加載 .env 文件
load_dotenv()
# 初始化工具
multiply_tool = FunctionTool.from_defaults(fn=multiply)
add_tool = FunctionTool.from_defaults(fn=add)
subtract_tool = FunctionTool.from_defaults(fn=subtract)
llm = AzureOpenAI(model="gpt-4o", # 或者 gpt-4
engine='gpt-4o',
deployment_name="gpt-4o",
api_key=os.getenv('AZURE_KEY'),
azure_endpoint="https://ilm-dev.openai.azure.com",
api_versinotallow="2023-07-01-preview")
# 初始化Agent
agent = ReActAgent.from_tools([multiply_tool, add_tool, subtract_tool], llm=llm, verbose=True)
response = agent.chat("What is 60-(20+(2*4))? Calculate step by step ")
> Running step cba1a160-74c3-4e34-bcc4-88e6a678eaf9. Step input: What is 60-(20+(2*4))? Calculate step by step
Thought: The current language of the user is: English. I need to use a tool to help me answer the question.
To solve the expression \(60 - (20 + (2 * 4))\) step by step, I will first calculate the multiplication inside the parentheses.
Action: multiply
Action Input: {'a': 2, 'b': 4}
Observation: 8
> Running step 5455108e-ac53-4115-8712-68f2457a9b82. Step input: None
Thought: Now that I have the result of the multiplication, I can proceed to the next step, which is to add 20 and 8.
Action: add
Action Input: {'a': 20, 'b': 8}
Observation: 28
> Running step 4d8fae00-83bd-4205-9993-f0e0119f408d. Step input: None
Thought: Now that I have the result of the addition, I can proceed to the final step, which is to subtract 28 from 60.
Action: subtract
Action Input: {'a': 60, 'b': 28}
Observation: 32
> Running step ce5d1075-ff11-47a2-b286-d7a715dc40ba. Step input: None
Thought: I can answer without using any more tools. I'll use the user's language to answer.
Answer: The result of the expression \(60 - (20 + (2 * 4))\) is 32.
之前有朋友問到，在這種流程中，大語言模型（LLM）究竟扮演了什么角色？大模型最突出的能力是理解自然語言并進行推理，我們可以嘗試將規則進一步復雜化，比如用“張三”來代表減法，“李四”代表加法，“王二”代表乘法。那么，問題“張三(李四(王二王24))”等于多少呢？如果要求一步步計算，盡管表現可能仍有不足，但大模型展現出了對自然語言的容錯能力，能夠像人類一樣去思考，而不是遵循一成不變的邏輯。
Thought: The current language of the user is English. I need to use a tool to help me answer the question. The expression given is 60張三(20李四(2王二4)), which translates to 60 - (20 + (2 * 4)). I will calculate step by step.
First, I need to calculate the multiplication part: 2王二4, which is 2 * 4.
Action: multiply
Action Input: {'a': 2, 'b': 4}
Observation: 8
> Running step 48262cb8-5c3a-47b7-b13b-449787c27078. Step input: None
Thought: The result of 2王二4 is 8. Now, I need to calculate the addition part: 20李四8, which is 20 + 8.
Action: add
Action Input: {'a': 20, 'b': 8}
Observation: 28
> Running step 1cccd5c6-3d96-4014-a579-1c997765a1da. Step input: None
Thought: The result of 20李四8 is 28. Now, I need to calculate the subtraction part: 60張三28, which is 60 - 28.
Action: subtract
Action Input: {'a': 60, 'b': 28}
Observation: 32
> Running step 65d33d20-1009-4482-a6d2-7af20333640c. Step input: None
Thought: I can answer without using any more tools. I'll use the user's language to answer.
Answer: The result of 60張三(20李四(2王二4)) is 32.6、Fine-tuning 微調- 讓大模型具備精確處理公司任務的能力
讓我們通過一個具體的生產案例來說明這一點。當我們為 World First 提供客服服務時，遇到了很多特殊的業務知識，例如，用戶在萬里匯下載的銀行對賬單并不等于下載交易流水單。這里涉及到具體的業務背景：銀行對賬單是亞馬遜要求的賬戶證明文件。這類業務背景知識對于大模型來說很難掌握，這時就需要引入微調（Fine-tuning），將這部分知識整合到大模型中。
目前，業界的主流做法正在逐漸減少對微調的依賴，因為這個過程既耗時又費力，而且不總是能帶來預期的正面效果。更多的工程實踐傾向于將提示詞（Prompt）復雜化和動態化，在工程上做更多的容錯處理工作。
7、Prompt 提示詞工程- 說人話
調優提示詞：大模型工程中的核心，提示詞的優秀與否決定了你是否需要鏈路上做額外的兜底。
調優提示詞有三種實踐方式：直接使用提示詞、提示詞中引入 CoT（Chain-of-Thought）、提示詞中引入動態 Few-Shot。
大語言模型（LLM）確實能夠引發工作方式和思考模式的重大變革，它們讓問題的解決方式變得依賴于你的創造力。然而，業務成效并不完全依賴于大模型。許多人誤以為擁有了 LLM，就能輕松解決業務效果、開發效率和交付質量等問題，這種將所有問題都推給 LLM 的想法是一個很大的誤區。
以客服場景為例，最初大家都認為客服是非常適合應用大型模型的場景，我最初也是這么認為的。但深入實踐后發現事實并非如此，特別是在對專業度和準確率有明確要求的場景中。客服作為售后服務，用戶帶著問題和情緒而來，他們需要的是明確的解決方案，而不是機械式的安慰和模糊的答案。因此，業務能力和人性化是客服成功的關鍵因素。確定這些關鍵因素后，再去思考 LLM 能在這些方面帶來哪些幫助，然后構建你的解決方案，這樣的應用方式才是可靠的。
簡而言之，大模型可以是一個強大的工具，但它們并不是萬能的。在構建解決方案時，我們需要綜合考慮業務需求、用戶期望和模型的能力，以確保我們提供的服務既有效又人性化。
本文轉載自公眾號玄姐聊AGI 作者：玄姐
