吳恩達：四個步驟，讓大模型變得更好
生成式 AI 的競爭達到了新的高潮。
前有 OpenAI 搶先發布 GPT-4o，后有谷歌在 I/O 開發者大會上發布一系列生成式人工智能模型與產品。
自 2022 年 11 月 OpenAI 推出 ChatGPT，至今已有 18 個月。學界、業界為了提升生成式 AI 模型的能力，做出了諸多努力。
今天，著名人工智能學者、斯坦福大學教授吳恩達高度總結了提升生成式 AI 模型能力的方式，主要包括：1）提升模型的推理能力；2）擴展上下文窗口，并撰寫一篇博客闡述了一套通用且高效的 prompt 策略。
我們對博客內容進行了不改變原意的編譯、整理，以下是博客內容：
本周，谷歌宣布將 Gemini Pro 1.5 的輸入上下文窗口擴大一倍，從 100 萬 token 擴展到 200 萬 token；OpenAI 發布了 GPT-4o，它的生成速度是 GPT-4 Turbo 的 2 倍，而且便宜 50%，原生支持輸入、生成多模態 token。這是 18 個月以來的最新進展。
自 2022 年 11 月 ChatGPT 推出以來，隨著 GPT-4、Gemini 1.5 Pro、Claude 3 Opus 和 Llama 3-70B 的發布等重要里程碑的到來，許多模型提供商通過兩個重要方式提高了自己的能力：
- 提升模型的推理能力，使 LLM 能夠思考復雜的概念并遵循復雜的指令；
- 更長的輸入上下文窗口。
GPT-4 和其他高級模型的推理能力使它們非常擅長解釋帶有詳細說明的復雜 prompt。許多人習慣向 LLM 快速提出 1 - 2 句話的查詢。相比之下，在構建應用程序時，我看到經驗豐富的團隊經常編寫可能長達 1 - 2 頁的 prompt（我的團隊稱其為「mega-prompt」），這些 prompt 提供復雜的指令來詳細說明我們希望 LLM 如何執行一個任務。我仍然認為團隊在編寫詳細指令方面做得不夠好。有關中等長度 prompt 的示例，請查看 Claude 3 的系統 prompt，詳細且為 Claude 應該如何執行任務提供了明確的指導。
這是一種與我們通常在 LLM 網絡用戶界面中使用的非常不同的 prompt 方式。在這種方式中，我們可能會快速進行查詢，如果響應不滿意，則通過與聊天機器人反復對話來表述清楚我們想要什么。
此外，輸入上下文窗口長度的增加為開發人員的工具箱添加了另一種技術。GPT-3 激發了關于小樣本上下文學習的大量研究。例如，如果您使用 LLM 進行文本分類，您可能會提供一些（例如 1 - 5 個）文本片段及其類別標簽的樣本，以便它可以泛化到其他文本。
GPT-4o 接受 128000 個輸入 token，Claude 3 Opus 200000 個 token，Gemini 1.5 Pro 100 萬個 token（200 萬個 token 目前僅適用于預覽版）。然而，隨著輸入上下文窗口變得越來越長，人們發現 LLM 并不局限于少數樣本。通過多樣本（many-shot）學習，開發人員可以在 prompt 中給出數十個甚至數百個樣本，這比少樣本（few-shot）學習效果更好。
在構建復雜的工作流時，我看到開發人員通過如下過程獲得了良好的結果：
- 編寫快速、簡單的 prompt，看看效果如何。
- 根據輸出不足的地方，迭代地充實 prompt。這通常會導致更長、更詳細的 prompt，甚至可能是「mega-prompt」。
- 如果這仍然不夠，請考慮少樣本或多樣本學習（如果適用），或者不太頻繁地進行微調。
- 如果仍然不能產生您需要的結果，請將任務分解為子任務并應用???智能體工作流??。
我希望這個過程能夠幫助大家更輕松地構建應用程序。如果您有興趣更深入地研究 prompt 策略，我推薦 Medprompt 論文，其中列出了一組復雜的 prompt 策略，可以帶來非常好的結果。
Medprompt 論文，鏈接：https://arxiv.org/pdf/2311.16452
本文轉自 機器之心 ，作者：機器之心
