CoT提出者Jason Wei：大模型評估基準的「七宗罪」
在 CV 領域，研究者一直把李飛飛等人創建的 ImageNet 奉為模型在下游視覺任務中能力的試金石。
在大模型時代，我們該如何評估 LLM 性能？現階段，研究者已經提出了諸如 MMLU、GSM8K 等一些評估基準，不斷有 LLM 在其上刷新得分。
但這些評估基準真的完美嗎？思維鏈提出者 Jason Wei 在一篇博客中進行了深入的研究。
Jason Wei 首先列舉了幾種成功的評估基準，然后總結了評估基準失敗的常見原因，共七條，包括樣本數量少、評估基準太復雜等等。
進一步的，Jason Wei 認為有些評估工具命名方式并不完美，比如 HumanEval 雖然叫做人類評估，實際上并沒有用到人類進行評估，只是因為問題是由人類創建的。
Jason Wei 表示如果想讓自己創建的評估工具得到廣泛使用，一定要幫助研究者使用它，從而得到推廣。此外，文中還提到了一些針對特定領域的小眾評估工具，Jason Wei 認為這些評估可能不會引起領域之外的任何關注。大家關心的測試集污染問題，Jason Wei 也給出了一些解決方案。
接下來，我們看看 Jason Wei 原博客內容：
成功評估的定義是什么？我想說，如果一個評估基準被用在突破性論文中，并在社區中得到信任，那么它顯然就是成功的。
以下是過去五年中一些成功的評估基準：
- GLUE/SuperGLUE：LLM 之前基本上所有 NLP 論文（BERT、T5 等）都使用。
- MMLU：幾乎所有 LLM 論文都使用，也是 DeepMind 和 Google 最喜歡的評估基準。
- GSM8K：激發了 LLM 的推理能力，并被用于每一篇關于思維鏈（chain-of-thought）的論文中。
- MATH：大多數 LLM 論文會使用。
- HumanEval：是 LLM 編碼的經典評估基準。
成功的評估往往會有一篇大論文聲稱使用該評估基準取得了一些突破。例如，GLUE 由 BERT 推廣，MMLU 由 Gopher、Chinchilla 和 Flan-PaLM 推廣。思維鏈提示（chain-of-thought prompting）聲稱在 GSM8K 上取得了突破。Minerva 的超凡能力在 MATH 上得到體現。Codex 等模型使用了 HumanEval。
更深入地說，在評估基準上得到好分數必須意味著一些重要且易于理解的事情，例如實現超越人類的表現、解決小學水平的數學問題。
而大多數不成功的評估基準都至少犯了如下七個錯誤之一：
1、如果評估沒有足夠的樣本，那么對于研究人員來說，它會很嘈雜（noisy），而且 UI 會很糟糕。例如，有人可能在模型訓練過程中運行評估，并發現它在各個檢查點之間波動很大。這使得評估對于研究人員來說非常痛苦，因此他們不會喜歡使用該評估基準。評估基準最好有至少 1000 個樣本供您評估；如果是多項選擇評估，可能需要更多。例如盡管 GPQA 是一個很好的評估基準，但它根據 prompt 而波動的事實使其難以使用。
2、評估基準應該是高質量的。如果評估基準中有很多錯誤，人們就不會相信它，例如 Natural Questions（NQ）基準。
3、如果你的評估基準太復雜，人們會很難理解它，并且會很少使用它。我認為 HELM 的第一個版本是一項巨大的努力，但它有太多的指標和子集。擁有單一數字指標至關重要 —— 我想不出任何偉大的評估基準是沒有單一數字指標的。
4、如果評估需要太多工作來運行，即使其他一切都很好，它也不會有很大的吸引力。BIG-Bench 是我最喜歡的評估基準之一，但運行起來非常痛苦。有對數概率評估和生成評估，這需要不同的基礎設施。子集太多，而且有些子集的樣本太多，所以評估花了很長時間。我相信這就是為什么 BIG-Bench 沒有獲得太多關注，盡管它提供了很多優勢。
5、如果評估不是針對一項有意義的任務，人工智能研究人員不會深度關注它。例如，在 BIG-Bench Hard 中，有推薦電影等任務。這些任務具有挑戰性，并且隨著模型大小的變化性能有所變化，但在這些任務上做得好并不能對模型的智能程度做出實質性的結論。成功的評估通常會衡量對智能至關重要的事物，例如語言理解、考試問題或數學。
6、評估的評分應該非常正確。如果有人認為模型評分不正確或者不認同該評分，那么他們可以立即取消使用該評估基準?；〞r間來盡量減少解析引起的錯誤，或者盡可能獲得最好的自動評分器 prompt 是值得的。
7、為了使評估經得起時間的考驗，性能不能太快飽和。例如，GLUE/SuperGLUE 飽和得太快，很難顯示出巨大的增益，人們就不再使用它們。
對于評估工具，還有不完善的地方
看起來很多優秀的評估工具都有些糟糕的名字。比如 GSM8K 其實并不需要加上 8K，而 HumanEval 雖然叫做人類評估，實際上并沒有用到人類進行評估（之所以叫 HumanEval 是因為問題是由人類創建的）。MATH 這個名字太普通了，所以人們開始稱之為「Hendrycks-math」，這應該算是一個聰明的命名方式，以創建者的名字來命名。
如果你想讓你的評估工具得到廣泛使用，你首先要做的是幫助人們使用它。例如，當我制定了一個評估工具時，我通常會幫助他人在模型上運行它。如果他們的模型在這個評估上表現良好，那么人們通常會喜歡它并進一步的推廣它。HELM 就非常擅長為其他人評估模型并公布結果。
此外，如果你能為人們使用你的評估工具創造激勵機制也很有幫助。對員工來說，最好的激勵之一就是他們領導所重視的東西。因此，獲得實驗室或公司內部領導的支持對你的評估工具可能會有所幫助，他們會要求底下員工運行它。當我在谷歌創建 MGSM 時，我選擇與 Dipanjan Das（Google Deepmind 的研究主管）合作完成，盡管我們不在同一個團隊。我與他合作純粹是因為他是個有趣的人（并不是為了推廣這個評估工具），但我認為 Dipanjan 很喜歡這個工具，并且在他的團隊中獲得了一些人的支持使用。
然而，LLMs 的出現，對評估工具提出了更高的要求。LLMs 具有大規模多任務處理能力并能生成長回答。目前還沒有一個單一的評估工具能夠充分評估 LLMs。當前流行的評估工具仍然使用非常簡單的評分方式（要么是多項選擇，要么是檢查數字，或者執行單元測試），即便這些方法也存在問題。如果我們能圍繞一個單一的提示，比如零樣本思維鏈（zero-shot chain-of-thought），那會很好。我知道由于很多原因這不是一個完美的解決方案，但我認為為了讓大家統一標準，這是合理的。
一個新的推動力是人類對模型進行配對評估，比如 LMSYS，但這種評估方式是一把雙刃劍。它們之所以強大， 是因為你可以通過一組簡單的提示得到一個單一的數字指標來衡量一個語言模型的好壞，并且可以通過大量的樣本來平均掉樣本級別的噪聲。不過，成對評估的危險之處在于你并不完全確定你在測量什么 —— 例如，相對于正確性，風格等這類因素的權重影響有多大。
對模型生成內容（model-generated）的評估也變得有些流行。雖然我傾向于對模型生成的評估比較挑剔，但如果做得好，它們可以用于快速實驗和觀察性能的大幅提升，這是有可能的。但是創建一個經得起時間考驗的偉大的評估需要非常小心，我不想在合成評估中冒任何風險。
一個顯而易見的觀點是，評估的主題決定了有多少人會關心這個評估。你可以創建一個非常高質量的特定領域評估（例如，法律、醫療等），在這些情況下，最重要的是根據該領域專家所重視的內容來定制評估。
我曾經制作過一個組織病理學圖像基準，不出所料，它在醫學圖像分析領域之外幾乎沒有引起任何關注，只獲得了 40 次引用。話雖如此，一旦更多人意識到其重要性，你創建的特定領域評估也有可能獲得更多關注。
評估中一個日益重要的問題是測試集污染。創建了一個好的評估之后，評估的示例往往會傳播到互聯網的各個地方，如 arxiv 論文、ChatGPT 示例或 reddit。解決這個問題的一個方法是對測試集進行「隱藏」，但這種方法引起了很多分歧。斯坦福大學教授 Chris Manning 提出了一個很好的建議，即對公開測試集、私有測試集都進行評估，并監控模型在這兩個測試集上是否有大的偏差。這種方法平衡了在公開測試集上測試的低摩擦性和私密測試集的高可信度。
我注意到的最后一件事是，你關心的評估很大程度上表明了你的身份。一個充滿博士的研究室可能會對語言模型在數學、編碼和物理上的推理能力感興趣。相反，我看到像 LMSYS 這樣的面向用戶的評估被來自軟件或產品背景的工程師視為黃金標準。雖然我兩者都關心，但我個人更傾向于智能，因為我相信智能是 AI 與人類交互的根本驅動力。
社區應該更多地投資于評估，盡管這可能很痛苦，通常不會像建模工作那樣得到很多回報。但歸根結底，好的評估工具是 AI 研究人員對模型的客觀評價指標，并且是對該領域產生重大影響的一種方式。
