Llama3實操增強的三種方式：RAG/Agent/Function Calling！！！原創

發布于 2024-5-22 10:17

瀏覽

0收藏

1、Llama 3 的 RAG 增強

以下 Github 鏈接展示了從頭開始使用 LangGraph 和 Llama3-8B 構建可靠的智能體。它將3種先進 RAG 技術（自適應 RAG、糾正性 RAG和自我 RAG）的思想結合起來，形成 LangGraph 中的單一控制流程。

https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_rag_agent_llama3_local.ipynb

Llama3實操增強的三種方式：RAG/Agent/Function Calling！！！ -AI.x社區

方式一：自適應 RAG 路由，將問題路由到不同的檢索方法。

方式二：糾正性 RAG 后備方案，如果文檔與查詢不相關，則回退到網頁搜索 Web Browser。

方式三：自我 RAG 進行自我糾錯，修正包含幻覺或未回答問題的答案。

2、Llama 3 的微調增強

眾所周知，LLaMA-Factory 微調，已經支持 Llama 3，如下所示：

Llama3實操增強的三種方式：RAG/Agent/Function Calling！！！ -AI.x社區

Github 地址：https://github.com/hiyouga/LLaMA-Factory

另外 Colab 筆記本中將 Llama-3 微調速度提高 2倍以上，鏈接如下所示：

https://colab.research.google.com/drive/135ced7oHytdxu3N2DNe1Z0kqjyYIkDXp?usp=sharing

3、Llama 3 的 Function Calling 增強

目前官方的答復是 Llama 3 暫時不支持 Function Calling 的功能，也就表面看起來不支持 Agent 智能體功能，如下圖所示：

Llama3實操增強的三種方式：RAG/Agent/Function Calling！！！ -AI.x社區

不過，經過我們實踐摸索，變形支持 Function Calling 函數調用的方法，也就是采用 Function Calling 數據微調后的 Llama 3，Prompt 提示詞模板如下圖所示：

<|begin_of_text|><|start_header_id|>function_metadata<|end_header_id|>


You have access to the following functions. Use them if required:
[
    {
        "type": "function",
        "function": {
            "name": "get_stock_price",
            "description": "Get the stock price of an array of stocks",
            "parameters": {
                "type": "object",
                "properties": {
                    "names": {
                        "type": "array",
                        "items": {
                            "type": "string"
                        },
                        "description": "An array of stocks"
                    }
                },
                "required": [
                    "names"
                ]
            }
        }
    },
    {
        "type": "function",
        "function": {
            "name": "get_big_stocks",
            "description": "Get the names of the largest N stocks by market cap",
            "parameters": {
                "type": "object",
                "properties": {
                    "number": {
                        "type": "integer",
                        "description": "The number of largest stocks to get the names of, e.g. 25"
                    },
                    "region": {
                        "type": "string",
                        "description": "The region to consider, can be \"US\" or \"World\"."
                    }
                },
                "required": [
                    "number"
                ]
            }
        }
    }
]<|eot_id|><|start_header_id|>user<|end_header_id|>


Get the names of the five largest stocks by market cap<|eot_id|><|start_header_id|>assistant<|end_header_id|>


Generated Response:
{
    "name": "get_big_stocks",
    "arguments": {
        "number": 5,
        "region": "US"
    }
}<|eot_id|>