如何使用ChatGPT插件工作

作者：崔皓 2023-04-24 08:00:00

OpenAI剛剛宣布了ChatGPT插件——一種讓ChatGPT在Web上執(zhí)行操作的方法。這不僅意味著ChatGPT可以訪問互聯(lián)網(wǎng)并瀏覽最新內(nèi)容和新聞，還可以代替我們執(zhí)行一些操作，比如購買雜貨、預訂機票等等。

?譯者 | 崔皓

審校 | 重樓

實現(xiàn)過程非常簡單：?

插件提供者使用OpenAPI標準編寫API規(guī)范。這是一個已經(jīng)存在了一段時間的標準，是類似Swagger API文檔工具的支持者。?

然后，將這個規(guī)范編譯成提示，向ChatGPT解釋它如何使用API來增強答案。想象一下詳細的提示，包括每個可用端點的描述。?

最后，用戶提出新的問題。如果ChatGPT需要從API中獲取信息，它將在回答之前進行請求并添加到上下文中。?

盡管在撰寫本文時，這個過程已經(jīng)在官方OpenAI文檔中有所記錄，但訪問受到了限制。由于還沒有獲取訪問權(quán)限，我決定根據(jù)以上內(nèi)容實現(xiàn)自己的機制。因此，下面是我嘗試實現(xiàn)自己的ChatGPT插件機制。?

鄭重聲明：我也只能通過公開信息了解ChatGPT插件，并沒有其他渠道了解額外的信息。本文的演示是為了說明實現(xiàn)的概念，并不能代表實現(xiàn)之后的樣子。?

選擇API規(guī)范?

第一步是了解如何指定API。OpenAI提供了一些樣本API規(guī)范，因此我決定使用相同的輸入來實現(xiàn)自己的解決方案，并為單個端點編寫了一個簡單規(guī)范。?

我使用DummyJSON，一個專門用于測試的簡單API，特別是“獲取所有代辦事項”的端點。我編寫了以下YAML文件作為規(guī)范。?

openapi: 3.0.1
info:
  title: TODO Plugin
  description: A plugin that allows the user to create and manage a TODO list using ChatGPT. 
  version: 'v1'
servers:
  - url: https://dummyjson.com/todos
paths:
  /todos:
    get:
      operationId: getTodos
      summary: Get the list of todos
      parameters:
      - in: query
        name: limit
        schema:
          type: integer
        description: Number of todos to return
      - in: query
        name: skip
        schema:
          type: integer
        description: Number of todos to skip from the beginning of the list
      responses:
        "200":
          description: OK
          content:
            application/json:
              schema:
                $ref: '#/components/schemas/getTodosResponse'
components:
  schemas:
    getTodosResponse:
      type: object
      properties:
        todos:
          type: array
          items:
            type: object
            properties:
              id:
                type: int
              todo:
                type: string
              completed:
                type: bool
              userId:
                type: string
          description: The list of todos.

如上面配置文件所示，一個端點有兩個參數(shù): "limit" 和 "skip"。?

現(xiàn)在，我需要將上面的?

經(jīng)過反復討論，最終得到了以下結(jié)果：?

You are a virtual assistant that helps users with their questions by relying on
information from HTTP APIs. When the user asks a question, you should determine whether
you need to fetch information from the API to properly answer it. If so, you will
request the user to provide all the parameters you need, and then ask them to run the
request for you. When you are ready to ask for a request, you should specify it using
the following syntax:

<http_request>{
"url": "<request URL>",
"method": "<method>",
"body": {<json request body>},
"headers": {<json request headers>}
}</http_request>

Replace in all the necessary values the user provides during the interaction, and do not
use placeholders. The user will then provide the response body, which you may use to
formulate your answer. You should not respond with code, but rather provide an answer
directly.

The following APIs are available to you:

---
<OpenAPI Specification goes here>

我會告訴ChatGPT以特定的語法回應，并告訴它用戶將提供響應。這是因為AI模型不會執(zhí)行任何API調(diào)用——它必須將該操作委托給不同的系統(tǒng)。由于我們無法訪問ChatGPT的內(nèi)部組件，于是要求它將HTTP請求委托給用戶。只要隱藏對話轉(zhuǎn)換對最終用戶不可見就行了，用戶甚至感知不到HTTP請求，就萬事大吉了。?

編排?

ChatGPT是一個通過REST API公開的AI模型。向OpenAI模型發(fā)出請求只是端到端聊天機器人體驗中的一步。這意味著可以設置模型傳遞的信息，以及向最終用戶顯示的信息。?

為了使用ChatGPT實現(xiàn)虛擬助手的功能，我使用了Bot Framework Composer，這是一種基于UI的工具，允許我們構(gòu)建對話體驗并將其發(fā)布到不同的渠道。以下是高級別的解決方案架構(gòu)：?

我用Bot Framework Composer構(gòu)建了這個虛擬助手，因為它可以快速部署到多個終端用戶渠道，且只需要很少的代碼。如果您想要復制這個解決方案，您可能還需要考慮使用Power Virtual Agents，尤其是在生產(chǎn)中使用。?

以下是對話流程的構(gòu)建方式：

1. 用戶提問

2.ChatGPT用預格式化的消息進行回復：

2.<http_request>{
"url": "https://dummyjson.com/todos?limit=5",
"method": "GET",
"body": "",
"headers": {}
}</http_request>

3.Azure Bot檢測到這種格式，并將請求提交給DummyJSON API，而不會牽扯到最終用戶。

4.Azure Bot代表用戶向ChatGPT發(fā)出新請求，以獲取響應正文。

5.ChatGPT格式化響應："這是你的前5個待辦事項：..."

6.Azure Bot回復給用戶。

有一件事情立即引起了我的注意產(chǎn)品可以阻止它通過生成代碼的方式調(diào)用其他網(wǎng)站或者應用。出于這個原因，我應用了一個簡單的域名允許列表，這樣保證所有請求只能發(fā)送到DummyJSON API，而且只能一次發(fā)送一條 – 從而保證消息發(fā)送的安全性。

以上就是設計部分的整體思路。?

最終結(jié)果?

上面跳過了一些實現(xiàn)的細節(jié)，直到體驗完美為止。這是一個統(tǒng)計工具，預計需要一些試錯，直到找到正確的提示。但最終，這是我與機器人的最終版本進行的對話。?

結(jié)論?

ChatGPT插件功能的實現(xiàn)比上面的快速演示要更加復雜。這次Demo的目的是展示如何完成ChatGPT的集成——相信我，我和你一樣對實現(xiàn)過程非常好奇。這個Demo給ChatGPT集成HTTP的能力提供了可能性，我迫不及待想看看社區(qū)能夠拋出什么新鮮花樣。?

同時，我們作為該技術(shù)的用戶，也有一種責任感：如果一個有惡意的提示讓Azure Bot向一個未知的服務器發(fā)出請求會發(fā)生什么？現(xiàn)在有哪些新的攻擊向量？在我編寫的機器人中，應用了簡單的域名白名單——隨著新的用例不斷出現(xiàn)，這是否足夠？我還設法在后續(xù)的提示中重寫了API規(guī)范——是否存在與此可能相關的風險？有許多與AI相關的安全問題需要考慮，而OpenAI當然也意識到了這一點。?

總的來說，這次Demo讓我印象深刻。ChatGPT的可能性確實是無限的，我一定會關注這個功能，看它在未來幾周和幾個月內(nèi)的發(fā)展。我也希望盡快在Azure OpenAI中看到它！?

譯者介紹?

崔皓，51CTO社區(qū)編輯，資深架構(gòu)師，擁有18年的軟件開發(fā)和架構(gòu)經(jīng)驗，10年分布式架構(gòu)經(jīng)驗。?

原文標題：??How ChatGPT Plugins (could) work??，作者：MarcoCardoso?

責任編輯：華軒來源： 51CTO