Nano Banana不及格，開源模型一分難求！上海AI Lab新基準直擊文生圖模型痛點
從GPT-4o到Nano Banana、Seedream 4.0，今年的大模型想要出圈，“畫得好”儼然成了必殺技。
不過，在比拼真實感、藝術性方面，生圖模型是神仙打架，在“做題”上，現如今的模型們又到底能力幾何？
比如，當指令變成畫出1-甲基環己烯酸催化水合的反應機理、根據給定的邊集畫出圖的最小生成樹，模型能否像相關專業的人類考生一樣，真正把知識理解、推理和作圖結合在一起？
針對這個問題，上海人工智能實驗室、上海交大、清華大學、香港中文大學聯合發布了首個多學科文生圖考試基準GenExam。
這一基準參考人類考試中的作圖題，覆蓋10 個學科、1000個嚴選好題，用“考試思維”重新定義文生圖模型的能力邊界。
實驗結果卻讓人大跌眼鏡：即便是GPT-4o這樣的頂級模型，嚴格評分下正確率也僅12.1%，開源模型更是全部接近0分。
這是怎么一回事？
GenExam：不止是“畫圖”，更是“面向AGI的綜合測試”
考試是衡量人類達到專家級智能的重要標準，這在理解任務的MMMU等基準上已經很有體現。GenExam則將文生圖也視為“人類學科考試”，和傳統文生圖基準明顯不同。它涵蓋數學、物理、化學、生物、計算機、地理、經濟、音樂、歷史、工程10個一級學科，每個學科都聚焦“繪圖類考題”，題目經過GPT-5初篩與人類審核把關，確保嚴謹性。
類似人類考試，GenExam的“學科繪圖題”有四大核心特征：
- “題目”（文生圖prompt）多樣、復雜且約束嚴格，平均長度達到74.8個單詞，遠超普通T2I prompt，比如“用H2SO4和H2O作為催化劑，畫出1-甲基環己烯的酸催化水合反應機理，明確反應物、反應條件、主產物，并根據馬爾科夫規則標注羥基位置”；
- 有明確的“參考答案”（ground truth圖像）提高評測準確性，有“評分標準”（評分點）逐點檢查正確性，平均每道題6.9個評分點，比如“催化劑是否為H2SO4和H2O”、“反應物是否為1號位有甲基、包含雙鍵的六元環”，每個得分點對應不同權重。
- 學科知識覆蓋深且廣，可系統化層級分類，形成嚴格的“四級學科分類體系”。
- 需要模型融合理解（讀懂考題）、推理（推導過程）、生成（精準繪圖）三大能力。
細粒度評測體系
傳統文生圖評測總糾結“像不像”、“美不美”，但學科繪圖更在意“對不對”——化學結構中的一個碳原子/物理電路圖中的一個箭頭畫錯，整個圖就錯了。
為此，GenExam設計了雙維度、兩標準的評測體系，用GPT-5作為“自動閱卷老師”，確保評分客觀準確：
兩大評測維度
- 語義正確性：模型畫的是不是“符合題意”？基于每道題的評分點，讓GPT-5做視覺問答（比如“分子是否含8個碳原子？”），并提供ground truth圖片作為參考提高評分準確性，將做對的題的分數之和作為語義分數；
- 視覺合理性：畫對了，但“卷面”好不好？分三項打分。
- 拼寫：公式、標簽有沒有拼寫錯；
- 邏輯一致性：坐標、刻度是不是對應；
- 可讀性：元素有沒有遮擋、標簽是不是清晰。
嚴格/寬松雙標準
- 嚴格得分：只有語義全對+視覺合理性三項全滿分才算正確；
- 寬松得分：語義（70%權重）+拼寫（10%）+邏輯（10%）+可讀性（10%）的加權平均分，給模型“部分得分”的空間，適合區分模型間的相對差距。
頂尖模型也不及格，開源模型全軍覆沒
團隊測試了18個主流模型，包括閉源“頂流”（例如GPT-Image-1（GPT-4o）、Gemini-2.5-Flash-Image（Nano Banana））、開源專用文生圖模型（例如Qwen-Image、FLUX.1 dev）、理解生成一體化模型（例如BAGEL、Show-o2），結果讓人意外：
- 閉源模型：即使是表現最好的GPT-Image-1嚴格得分也只有12.1%。其他閉源模型分數不足10%。這些模型能畫出大致框架（比如苯環的六邊形），但細節經常有嚴重錯錯誤比如少畫氫原子、鍵型標反）。
- 開源模型：所有模型嚴格得分均接近0%，哪怕是表現最好的Qwen-Image，嚴格得分也只有0.3%。統一多模態模型（如BAGEL、Show-o2）表現還不如專用文生圖模型，暴露出“整合學科知識到圖像生成”的能力缺失。
當對比寬松得分時，開源模型（10~30分）和閉源模型（50~60分）的差距依然明顯，在語義正確性、拼寫、邏輯一致性、可讀性四個方面中都存在顯著差異。
錯誤案例直擊痛點
通過定性分析，論文團隊總結了模型的三大典型錯誤：
- 知識缺失：比如音樂題中畫錯半音圈的調號順序；
- 推理不足：比如幾何題中算錯函數交點坐標；
- 視覺疏漏：比如拼寫錯誤、標簽錯位（如將“-1,0”標在y軸上）。
在學科場景中，任何一個小錯誤都可能導致“滿盤皆輸”——這也正是GenExam的價值所在：它精準捕捉了文生圖模型在“專業場景”中的核心短板。
通向專家級智能
GenExam將“圖像生成”轉化為“考試任務”，給文生圖模型設立了一個新目標：從“畫得好看”走向“畫得正確”。
當前，即便是最頂尖的模型，在GenExam的考試中也僅處于不及格水平，這既是挑戰，也是機遇——它意味著未來的模型需要在知識整合、邏輯推理、精準生成上持續突破，才能真正從“通用圖像生成工具”升級為“專業領域助手”。畢竟未來的AI不僅要會“創作藝術”，更要能“輔助學習”、“助力科研”，而這些都離不開對學科知識的精準理解與生成。
未來，當模型能輕松通過GenExam的多學科考試時，或許我們才能說它們真正邁入了“專家級AGI”水平。但現在，這場考試才剛剛開始。
GitHub鏈接：https://github.com/OpenGVLab/GenExam
論文鏈接：https://arxiv.org/abs/2509.14232
