作者 | Joab Jackson
編輯 | 言征
出品 | 51CTO技術棧（微信號：blog51cto）
ChatGPT輸出可以更加可控了，OpenAI昨天發布了一款工具，該工具將以用戶指定的精確格式返回查詢結果。
OpenAI 首席執行官Sam Altman表示，這是使用 AI 技術的開發人員提出最多的請求。
1.OpenAI 今年的重點：DevTools
自 2022 年 11 月首次亮相以來，ChatGPT 服務已被無數應用程序開發人員用于代理驅動和其他應用程序。但是，雖然 ChatGPT 使用大量非結構化數據來提供其結果（通過 API 驅動的函數調用），但應用程序開發人員更希望將這些結果作為結構化數據提供，以便各自的應用程序可以更好地解析它們。
去年，OpenAI 擴展了其 API，以包含以JSON形式提供的結果。本周三，該公司更進一步，推出了一項名為“結構化輸出”的新 API 功能，該功能將以開發人員在查詢中指定的任何JSON 模式提供結果。
OpenAI技術人員Michelle Pokrass在周二發布的一篇博客文章中寫道：“開發人員長期以來一直在通過開源工具、提示和反復重試請求來解決 LLM 的局限性，以確保模型輸出符合與其系統互操作所需的格式。 ”
“結構化輸出通過約束 OpenAI 模型以匹配開發人員提供的模式并訓練我們的模型以更好地理解復雜模式來解決此問題。”
2.結構化輸出如何提高 LLM質量
結構化輸出與普通用戶提示生成的輸出不同，因為它們在所能提供的信息方面受到限制，這種技術稱為“約束采樣”或“約束解碼”。
Pokrass 解釋說：“為了強制有效輸出，我們將模型限制為僅根據提供的模式有效的標記，而不是所有可用的標記。”
對于 ChatGPT 來說，采用這一模式的這一額外步驟可以提高其準確性。
OpenAI 開發人員在測試中發現，對復雜JSON模式的評估中，帶有結構化輸出的新模型gpt-4o-2024-08-06得分為100%。相比之下，gpt-4-0613的得分不到40%。
ChgatGPT 能夠 100% 正確地填充預定義模式，但通過簡單提示只能提供 85% 的正確響應。
圖片
OpenAI 圖表比較了針對 JSON 模式生成的 ChatGPT 響應與從命令提示符生成的響應的可靠性。
3.如何產生結構化輸出
那么如何操做呢？
現在，當應用程序提交請求時，開發人員會通過json_schema提供 JSON 模式，這是response_format參數的一個新選項。同時，在函數定義中，必須將strict值設置為“true”。然后，模型的輸出將使其答案與模式最佳匹配（這既適用于 AI 工具，也適用于直接用戶查詢）。
圖片
值得注意的是，響應結果仍將遵守 OpenAI 的安全要求（阻止潛在有害內容），并將對不會回答的問題返回拒絕字符串值。此外還有其他限制：它僅支持JSON 模式的子集。它無法防止模型定義中的錯誤，并且由于 ChatGPT 會整理開發人員的模式，因此第一次響應會有額外的延遲。
OpenAI的 Node.js和Python軟件開發工具包都已更新了最新的response_format參數。
當然，最大的可能用例是將非結構化數據格式化為結構化數據，以便關系數據庫系統可以提取和分析它。這對于在辦公文檔中存儲大量信息的組織來說一直是一個挑戰。
但波克拉斯詳細闡述了該技術的一些可能的高級用途，包括根據用戶輸入動態創建用戶界面并在沒有支持材料的情況下提供單一答案。
機器學習研究員Elvis Saravia在 X 上指出，這是一個“很棒的功能，非常有必要” ，并在Youtube制作了一個關于如何使用結構化輸出的教程，各位不防自行查閱。
圖片
參考鏈接：https://thenewstack.io/openais-chatgpt-now-formats-output-to-developer-queries/
