隨著 AI 大模型在一個又一個的任務上達到乃至超越人類水平，人類文明似乎已經進入了與 AI 共生的時代。 

為了跟蹤 AI 的發展進度，適當的基準必不可少。但現在，由于 AI 發展的速度實在太快，已有的基準已經開始不夠用了。比如在常用的基準 MMLU 上，當今前沿的 LLM 已經能達到超過 90% 的準確度了！這就限制了對前沿 LLM 能力的精確度量能力。

基于此現狀，Center for AI Safety（AI 安全中心）與 Scale AI 聯合打造一個名字相當吸引眼球的新基準：Humanity's Last Exam，即「人類的最后考試」，簡稱 HLE。

• 論文標題：Humanity’s Last Exam
• 論文地址：https://arxiv.org/pdf/2501.14249
• 項目地址：https://lastexam.ai

從名字也能看出來，其背后必然有一個雄心勃勃的團隊。據介紹，HLE 是一個「位于人類知識前沿的多模態基準」，其設計目標是成為「同類中具有廣泛學科覆蓋范圍的終極封閉式學術基準。」

現目前，HLE 已包含 3000 個問題，涉及上百門學科，包括數學、人文科學和自然科學。其中的問題主要由適合自動評估的多項選擇題和簡單問答題構成；每個問題都有一個已知的解，該解非常明確且易于驗證，但無法通過互聯網檢索快速回答。

為了構建 HLE 基準，Center for AI Safety 與 Scale AI 向全球不同學科的專家尋求了幫助，最終讓該論文有了一份長達兩頁、近千人的數據集貢獻者名單：

該團隊也使用該基準測試了一些 SOTA 模型，結果如下。很顯然，HLE 相當難。

數據集

HLE 包含 3000 多個高難度問題，涉及一百多個科目，概況見下圖 3 。

下面展示了一些問題示例：

雖然這些問題已公開發布，但該團隊也表示還維護著一個私有的測試集，其中包含一些用來評估模型過擬合現象的問題。

收集數據集

該團隊在技術報告中分享了 HLE 基準數據集的收集過程：「HLE 是一項全球合作的成果，其中的問題來自 50 個國家 / 地區的 500 多個機構的近 1000 名學科專家貢獻者 —— 主要由教授、研究人員和研究生學位持有者組成。」

問題風格：HLE 包含兩種問題格式：精確匹配問題（模型提供確切的字符串作為輸出）和多項選擇題（模型從五個或更多答案選項中選擇一個）。HLE 是一個多模態基準，其中 10% 的問題需要同時理解文本和圖像。80% 的問題是精確匹配型問題，其余的是多項選擇題。

提交格式：為確保問題的質量和完整性，該團隊設定了嚴格的提交標準。

• 問題應該準確、明確、可解且不可搜索，確保模型不能依賴記憶或簡單的檢索方法。
• 所有提交內容必須是原創的，或者是基于已發表信息的非平凡合成版本，但也會接受未發表的研究。
• 問題通常需要研究生水平的專業知識或高度特定主題的測試知識（例如，精確的歷史細節、瑣事、當地習俗），并且有領域專家接受的具體、明確的答案。
• 當 LLM 能提供正確答案但推理有誤時，希望作者能修改問題參數，例如答案選項的數量，以阻止假正例。
• 要求明晰的英語和精確的技術術語，并在必要時支持 LATEX 標注。
• 答案要簡短，并且對于精確匹配的問題，答案要容易驗證，以支持自動評分。
• 禁止開放式問題、主觀解釋題和與大規模殺傷性武器有關的內容。
• 每個問題都應附有詳細的解答以驗證準確性。

獎金池：為了吸引高質量的投稿，該團隊還設立了一個獎金池，其中包含 50 萬美元。對于前 50 個問題，每個獎金 5000 美元，接下來的 500 個問題每個獎金 500 美元，具體由組織者決定。正是由于這種這種激勵結構，加上任何被 HLE 接收的問題的作者都有機會成為論文合著者，吸引了有資歷專家的參與，尤其是那些在其領域內擁有高級學位或豐富技術經驗的專家。

收集完成后，該團隊還組織人手對收集到的問題進行了審核，下圖展示了其審核流程：

當前 SOTA 模型在該基準上表現如何？

有了基準，自然得對當前的模型進行一番評估。該團隊評估了 SOTA 模型在 HLE 上的性能表現，并分析了它們在不同問題類型和領域上的能力。

這些模型表現如何呢？如下表所示，整體表現可以總結為一個字：差。

從 GPT-4o 到 DeepSeek-R1，當前最佳的模型的準確度表現都沒能超過 10%。目前官網也已經更新了 o3-mini 的成績，其中 high 版本能達到 13%：

OpenAI CEO Sam Altman 還表示 o3-mini-high 如果使用 Deep Research，則其在 HLE 上的準確度更能倍增至 26.6%。

該團隊表示：「如此低分的部分原因是設計使然 —— 數據集收集過程試圖過濾掉現有模型可以正確回答的問題。然而，我們在評估時注意到，這些模型的準確度也都不是零。這是由于模型推理中固有的噪聲 —— 模型可能會不一致地猜對正確答案，或者猜中多項選擇題答案的概率低于隨機。」因此，這些模型在該數據集上的真正能力底線仍然是未知的，接近零準確度的微小變化并不能有力地表明進展。

鑒于這些模型在 HLE 上表現不佳，該團隊表示應該在考慮到不確定性的前提下校準模型，而不是自信地提供錯誤答案，畢竟模型存在虛構/幻覺現象。為了測量校準誤差（Calibration Error），該團隊讓模型提供答案的同時還提供置信度（范圍是 0% 到 100%）。經過良好校準的模型聲明的置信度應該與其實際準確度相匹配 —— 例如，在聲稱置信度為 50% 的問題上實現 50% 的準確度。

而表 1 的結果表明所有模型的校準都很差。在 HLE 上，模型經常以高置信度提供錯誤答案，這表明這些模型無法分辨這些問題何時超出其能力范圍。

token 數量：具有推理能力的模型需要更多的推理時間計算。為了在評估中闡明這一點，該團隊分析了各個模型使用的完成 token 的數量。如圖 5 所示，所有推理模型都需要生成比非推理模型多得多的 token 才能提高性能。該團隊指出：「未來的模型不僅應該提升準確度，還應該努力實現計算優化。」

討論

該團隊表示，雖然目前的 LLM 在 HLE 上的準確度非常低，但最近的歷史表明，這個基準很快就會飽和 —— 前沿模型的性能可在短時間內從接近零到接近完美。

他們預計，到 2025 年底，模型在 HLE 上的準確度就可能超過 50%。

如果模型能在 HLE 上取得高準確度表現，則說明其在封閉式、可驗證的問題和前沿的科學知識上具備了專家級的表現，但僅靠這個基準，并不能表明模型已經具備自主研究能力或者已經是所謂的「通用人工智能」。HLE 測試的是結構化的學術問題，而不是開放式研究或創造性解決問題的能力，因此這是一個重點關注技術知識和推理的測量指標。

該團隊寫到：「HLE 可能是我們需要對模型進行的最后的學術考試，但它遠非 AI 的最后一個基準。」