Hello folks，我是 Luga，今天我們來聊一下人工智能(AI)生態領域相關的技術 - GPT-4o 模型 。

在 2024 年 5 月 13 日，OpenAI 創新性地推出了其最先進、最前沿的模型 GPT-4o，這是標志著人工智能聊天機器人和大型語言模型領域實現重大飛躍的突破性舉措。預示著人工智能能力的新時代 ，GPT-4o 擁有顯著的性能增強，在速度和多功能性方面都超越了其前身 GPT-4。

這一突破性的進步解決了經常困擾其前身的延遲問題，確保了無縫且響應迅速的用戶體驗。

什么是 GPT-4o ?

在2024年5月13日，OpenAI 發布了其最新、最先進的人工智能模型 GPT-4o，其中的"o"代表"omni"，意為"所有"或"通用"。這款模型是基于 GPT-4 Turbo 構建的新一代大語言模型。與之前的模型相比，GPT-4o 在輸出速度、回答質量和支持的語言種類等方面有了顯著的提升，并且在處理輸入數據的方式上進行了革命性的創新。

GPT-4o 模型最值得關注的創新之處在于放棄了前代模型使用獨立神經網絡處理不同類型輸入數據的做法，而是采用了單一統一的神經網絡來處理所有輸入。這一創新設計賦予了 GPT-4o 前所未有的多模態融合能力。

傳統的語言模型通常只能處理純文本輸入，無法處理語音、圖像等非文本數據。然而，GPT-4o 不同尋常，它能夠同時檢測和解析語音輸入中的背景噪音、多重聲源、情感色彩等非文本信號，并將這些多模態信息融合到語義理解和生成過程中，從而產生更豐富、更符合上下文的輸出內容。

除了處理多模態輸入，GPT-4o 在生成多語種輸出時也展現出了出色的能力。它不僅在英語等主流語言上輸出質量更高、語法更正確、表述更簡潔，而且對于非英語的其他語種場景輸出，GPT-4o 也能保持同樣的水準。這確保了無論是英語用戶還是其他語種用戶，都能享受到 GPT-4o 卓越的自然語言生成能力。

總的來說，GPT-4o 的最大亮點在于突破了單一模態的局限，實現了跨模態的綜合理解和生成能力。借助創新的神經網絡架構和訓練機制，GPT-4o 不僅能夠從多種感官通道獲取信息，還能在生成時融會貫通，產生與上下文高度貼合、更加人性化的響應。

GPT-4o 與 GPT-4 Turbo 性能表現?

GPT-4o 作為 OpenAI 最新推出的多模態大模型，其性能與前代 GPT-4 Turbo 相比，具有質的飛躍。這里，我們可以從如下個關鍵方面對兩者進行對比分析：

1.推理速度

根據 OpenAI 公布的數據，在相同硬件條件下，GPT-4o 的推理速度是 GPT-4 Turbo 的兩倍。這種顯著的性能提升主要歸功于其創新的單一模型架構，避免了模態切換所帶來的效率損失。單一模型架構不僅簡化了計算流程，還大幅減少了資源開銷，從而使得 GPT-4o 能夠更快速地處理請求。更高的推理速度意味著 GPT-4o 可以以更低的延遲為用戶提供響應，顯著提升了交互體驗。無論是在實時對話、復雜任務處理，還是在高并發環境下的應用中，用戶都能感受到更加流暢和即時的服務響應。這種性能優化不僅提高了系統的整體效率，還為各種應用場景提供了更可靠和高效的支持。

GPT-4o 與 GPT-4 Turbo 延遲對比

2.吞吐量

眾所周知，早期的 GPT 模型在吞吐量方面表現有點滯后。例如，最新的 GPT-4 Turbo 每秒只能生成 20 個令牌。然而，GPT-4o 在這方面取得了重大突破，每秒能夠生成 109 個令牌。這一改進使得 GPT-4o 在處理速度上有了顯著提升，為各種應用場景提供了更高的效率。

盡管如此，GPT-4o 依然不是速度最快的模型。以在 Groq 上托管的 Llama 為例，它每秒可以生成 280 個令牌，遠超 GPT-4o。然而，GPT-4o 的優勢不僅僅在于速度。其先進的功能和推理能力使其在實時 AI 應用中脫穎而出。GPT-4o 的單一模型架構和優化算法不僅提升了計算效率，還顯著降低了響應時間，使其在交互體驗上具有獨特的優勢。

GPT-4o 與 GPT-4 Turbo 吞吐量對比

不同場景下的對比分析

通常而言，GPT-4o 和 GPT-4 Turbo 在處理不同類型任務時，由于架構和模態融合能力的差異性使得表現也存在明顯區別。這里，我們主要從數據提取、分類以及推理等3個代表性任務類型來具體分析兩者之間的差異。

1.數據提取

在文本數據提取任務上，GPT-4 Turbo 依賴其強大的自然語言理解能力可以取得不錯的表現。但當遇到包含圖像、表格等非結構化數據的場景時，其能力便顯得有些捉襟見肘。

相比之下，GPT-4o 能夠無縫融合不同模態的數據，無論是在結構化的文本中，還是圖像、PDF 等非結構化數據里，都可以高效地識別和提取所需信息。這一優勢使得 GPT-4o 在處理復雜混合數據時更具競爭力。

這里，我們以某司的合同場景為例，數據集包括公司與客戶之間的主服務協議(MSA)。合同的長度各不相同，有些短至5頁，有些長于50頁。

在本次評估中，我們將提取總共12個字段，如合同標題、客戶名稱、供應商名稱、終止條款的詳細信息、是否存在不可抗力等。通過對10份合同的真實數據收集，并使用設置了 12 個自定義評估指標。這些指標用于將我們的真實數據與模型生成的 JSON 中的每個參數的 LLM 輸出進行比較。隨后，我們對 GPT-4 Turbo 和 GPT-4o 進行了測試，以下是我們的評估報告結果：

針對每個 Prompt 所對應的12個指標評估結果

在上述的對比結果中，我們可以得出：在這12個字段中，GPT-4o 在6個字段上表現優于 GPT-4 Turbo，在5個字段上結果相同，而在1個字段上表現略有下降。

從絕對角度來看，GPT-4 和 GPT-4o 在大多數領域僅正確識別了60-80%的數據。在需要高準確性的復雜數據提取任務中，這兩種模型的表現都未達到標準。通過使用先進的提示技術，如幾發提示或鏈式思維提示，可以獲得更好的結果。

此外，GPT-4o 在 TTFT(第一個令牌的生成時間)上比 GPT-4 Turbo 快50-80%，這使得 GPT-4o 在直接比較中占據優勢。最終結論是，GPT-4o 由于其更高的質量和更低的延遲表現優于 GPT-4 Turbo。

2.分類

分類任務往往需要從文本、圖像等多模態信息中提取特征，再進行語義級別的理解和判斷。在這一點上，由于 GPT-4 Turbo 受限于只能處理單一文本模態，分類能力相對有限。

而 GPT-4o 則可以將多模態信息融合，形成更加全面的語義表征，從而在文本分類、圖像分類、情感分析等領域展現出卓越的分類能力，尤其是在一些高難度的跨模態分類場景中。

在我們的提示中，我們提供了客戶票何時關閉的明確說明，并添加了幾個示例，以幫助解決最困難的案例。

通過運行評估，以測試模型的輸出是否與100個標記測試用例的地面真值數據相匹配，以下是相關結果：

分類分析評估參考

GPT-4o 無疑展現出了壓倒性的優勢。通過一系列針對各類復雜任務的測試和對比，我們可以看到，GPT-4o 在整體精確度上均遠超其他競品模型，從而令它成為諸多應用領域中不二的首選之作。

然而，傾向于 GPT-4o 作為通用解決方案的同時，我們也需要謹記，選擇最佳 AI 模型并非一蹴而就的決策過程。畢竟，AI 模型的表現往往取決于具體的應用場景及對精度、召回率和時間效率等不同指標的權衡偏好。

3.推理

推理是人工智能系統的一項高階認知能力，需要模型從給定的前提條件中推導出合理的結論。這對于邏輯推理、問答推理等任務都至關重要。

GPT-4 Turbo 在文本推理任務上已經表現出色，但遇到需要多模態信息融合的情況時，其能力就受到了一定限制。

而 GPT-4o 則不存在這一局限。它能夠自如地融合文本、圖像、語音等多種模態的語義信息，在此基礎上進行更加復雜的邏輯推理、因果推理和歸納推理，從而賦予人工智能系統更加"人性化"的推理判斷能力。

還是基于上述場景，我們來看一下兩者在推理層面的對比，具體可參考如下所示：

16個推理任務的評估參考

根據對 GPT-4o 模型的示例測試，我們可以觀察到它在以下推理任務中表現越來越出色，具體如下：

• 日歷計算：GPT-4o 能夠準確識別特定日期的重復時間，這意味著它可以處理與日期相關的計算和推理。
• 時間和角度計算：GPT-4o 能夠精確計算時鐘上的角度，這在處理時鐘和角度相關問題時非常有用。
• 詞匯(反義詞識別)：GPT-4o 能夠有效地識別反義詞并理解單詞的含義，這對于語義理解和詞匯推理非常重要。

盡管 GPT-4o 在某些推理任務中表現越來越好，但在單詞操作、模式識別、類比推理和空間推理等任務中仍面臨挑戰。未來的改進和優化可能會進一步提高該模型在這些領域的性能。

綜上所述，基于速率限制高達每分鐘1000萬 token 的 GPT-4o，是 GPT-4 的整整 5倍。這一振奮人心的性能指標無疑將加速人工智能在諸多密集計算場景中的普及，尤其是在實時視頻分析、智能語音交互等領域，GPT-4o 的高并發響應能力將顯現出無可匹敵的優勢。

而 GPT-4o 最閃耀的創新所在，當屬其無縫整合了文本、圖像、語音等多模態輸入輸出的革命性設計。通過單一神經網絡直接融合處理各模態數據，GPT-4o 從根本上解決了以往模型間切換的割裂體驗，為構建統一的 AI 應用程序鋪平了道路。

實現了模態融合后，GPT-4o 在應用場景上將擁有前所未有的廣闊前景。無論是結合計算機視覺技術打造智能影像分析工具、與語音識別框架無縫集成創建多模態虛擬助手，還是基于文本圖像雙模態生成高保真圖文廣告，一切曾經只能通過整合獨立子模型所完成的任務，在GPT-4o的大智能驅動下，將擁有全新的統一高效的解決方案。

Reference ：

• [1] https://openai.com/index/hello-gpt-4o/?ref=blog.roboflow.com
• [2] https://blog.roboflow.com/gpt-4-vision/
• [3] https://www.vellum.ai/blog/analysis-gpt-4o-vs-gpt-4-turbo#task1