OpenAI剛剛宣布推出其最新的o系列模型：o3和o4-mini，與以往模型不同，o3和o4-mini被設計為真正的AI系統，模型甚至能連續調用超過600次工具來完成一項艱巨任務，它們在理解和導航大型代碼庫（比如OpenAI自己的代碼庫）方面，超越了人類工程師，極大地提高了開發效率。

這次發布會我有兩個沒想到：一是沒想到o系列模型變成了一個融合的模型，另外一個是引入圖像推理“Thinking with Images”，下面第一時間給大家劃個重點。

全面工具訪問與推理能力

o3和o4-mini最顯著的特點是首次實現了對ChatGPT內所有工具的智能使用和組合能力。它們可以搜索網絡、分析上傳的文件、處理視覺輸入、生成圖像，并且能夠智能地判斷何時以及如何使用這些工具來解決復雜問題。這些模型經過專門訓練，能夠在大約一分鐘內提供詳細且經過深思熟慮的答案，以適當的輸出格式解決多方面的問題。

o3,o4mini性能

OpenAI o3是目前最強大的推理模型，在編程、數學、科學、視覺感知等領域推動了技術邊界。它在包括Codeforces、SWE-bench和MMMU在內的多項基準測試中創下新的記錄。在由外部專家進行的評估中，o3在解決困難的現實世界任務時比OpenAI o1減少了20%的重大錯誤，特別是在編程、商業咨詢和創意構思方面表現出色。早期測試者強調了它作為思維伙伴的分析嚴謹性，以及在生物學、數學和工程背景下生成和批判性評估新假設的能力。

OpenAI o4-mini是一個針對快速、高效推理而優化的小型模型。盡管規模較小，但它在數學、編碼和視覺任務方面表現出色。在2025年AIME數學競賽中，當獲得Python解釋器訪問權限時，o4-mini的得分高達99.5%，實際上已經飽和了這個基準測試。在專家評估中，它也在非STEM任務和數據科學等領域超越了前身o3-mini。由于其高效性，o4-mini支持比o3更高的使用限制，使其成為需要推理能力的高容量、高吞吐量應用的理想選擇。

圖像推理能力的突破

o3和o4-mini首次能夠將圖像直接整合到思維鏈中，它們不僅能看到圖像，還能通過圖像進行思考。這解鎖了融合視覺和文本推理的新型問題解決方式，在多模態基準測試中表現出色。用戶可以上傳白板照片、教科書圖表或手繪草圖，模型能夠解釋它們——即使圖像模糊、顛倒或質量低下。借助工具使用能力，模型可以實時操作圖像，作為推理過程的一部分進行旋轉、縮放或轉換。

負責圖像推理的華裔研究員Jiahui Yu解釋圖像推理（“Thinking with Images”）的重要性：

自最初的 o 系列發布以來，“圖像思考”一直是我們在感知領域的核心戰略之一。我們悄然發布了 o1 vision，作為對這一戰略的驚鴻一瞥——如今，o3 和 o4-mini 的問世則以臻于完善的姿態將其變為現實,多模態技術對于 OpenAI 實現 AGI 的愿景至關重要。

朝向主動式工具使用

OpenAI o3和o4-mini可以完全訪問ChatGPT內的工具，以及通過API中的函數調用訪問用戶自定義工具。它們經過訓練，能夠推理如何解決問題，選擇何時以及如何使用工具，以快速產生詳細且經過深思熟慮的答案。例如，用戶可能會問："今年夏季加利福尼亞的能源使用情況與去年相比如何？"模型可以搜索網絡獲取公用事業數據，編寫Python代碼建立預測模型，生成圖表或圖像，并解釋預測背后的關鍵因素，將多個工具調用鏈接在一起。

One More Thing... 開源Codex CLI！

發布會最后還帶來一個驚喜，OpenAI推出了Codex CLI——一個連接模型與用戶本地計算機環境的輕量級命令行接口。

它直接在用戶的計算機上工作，旨在最大限度地發揮像o3和o4-mini這樣的模型的推理能力，未來還將支持GPT-4.1等其他API模型。用戶可以通過向模型傳遞屏幕截圖或低保真草圖，結合本地代碼訪問，從命令行獲得多模態推理的好處。

發布會現場演示環節開發人員利用Codex CLI工具展示了一個非常酷炫的實時攝像頭ASCII藝術，讓模型直接讀取電腦攝像頭畫面，實時生成酷炫的ASCII動態畫面。

開源地址：https://github.com/openai/codex

最后

從今天開始，ChatGPT Plus、Pro和Team用戶將在模型選擇器中看到o3、o4-mini和o4-mini-high，取代o1、o3-mini和o3-mini-high。ChatGPT Enterprise和Edu用戶將在一周內獲得訪問權限。免費用戶可以在提交查詢前選擇"Think"來嘗試o4-mini。所有計劃的速率限制與先前的模型集保持不變。

OpenAI預計將在幾周內發布具有完整工具支持的OpenAI o3-pro。目前，Pro用戶仍可以訪問o1-pro。

成本：

o3和o4-mini今天也通過Chat Completions API和Responses API向開發者提供。Responses API支持推理摘要，能夠在函數調用周圍保留推理標記以獲得更好的性能，并將很快支持模型推理中的內置工具，如網絡搜索、文件搜索和代碼解釋器。

個人感覺今天的更新反映了OpenAI模型的發展方向：將o系列的專業推理能力與GPT系列更自然的對話能力和工具使用能力融合。通過統一這些優勢，未來的模型將支持無縫、自然的對話，同時提供主動工具使用和高級問題解決能力。