3D生成競技場來了！比拼360°環繞視頻，最強模型由你pick
3D生成也有自個兒的人工評測競技場了～
來自復旦大學和上海AI lab的研究人員搞了個3DGen-Arena，和大語言模型的Chatbot-Arena、GenAI-Arena等一脈相承，要讓大伙兒對3D生成模型來一場公開、匿名的評測。
3DGen-Arena同樣是讓兩個模型進行比較，分文生3D、圖生3D兩個賽道。
展示形式上考慮到3D生成的復雜性，3DGen-Arena同時提供3D資產的法線圖、無紋理幾何圖和貼紋理RGB圖的360°環繞視頻。
第一步點擊“Sample”選擇prompt（共有1000+條），第二步點擊“Send”讓模型生成，第三步分別從幾何合理性、幾何精細度、紋理質量、幾何-紋理一致性、文本/圖像-3D一致性這5個維度上對模型投票，投完票就能看到背后模型的真面目了。
目前場上已有19個開源3D生成模型，其中9個文生3D模型，13個圖生3D模型。
除匿名投票外，3DGen-Arena還支持參與者與指定模型進行比較，以及與單個模型交互。
已開賽，來pick
近兩年，得益于Diffusion模型在2D領域取得的巨大成功，以及Objaverse系列大規模3D數據集的開源，3D物體生成領域已經進入迅速發展階段，3D生成模型數量激增。
然鵝，如何科學、公平地評價這些模型成為了領域內公認的難題。
目前已有的3D評測指標大多沿用了2D領域的范式。其中，Clip系列模型表現出的強大圖文對齊能力使得基于Clip的方法尤為受歡迎，如Clip-Similarity、Clip R-Precision等。
但由于2D和3D領域間存在不容忽視的域差異（domain gap），這類不具備3D先驗知識的2D指標，在實際應用中，常常并不能滿足人們的需要。
例如，3D工作者們關心的幾何合理性、3D一致性、紋理偽影等等關鍵問題，2D指標遠遠無法達到令人滿意表征水平。
于是，目前工作中更具可信度的評價大多來自于定性的用戶評價（user-study），但缺少一個統一、多樣的prompt集，使得不同模型間的user-study并不那么容易對齊。
最近，因大語言模型以及多模態大模型表現出的優異性能，出現了一些基于大模型問答的3D評測體系。但此類依賴黑盒模型的評測系統，可能會引入一些潛在的系統性誤差，而且不具備好的可解釋性。
3D生成評測是一項不適定問題（ill-posed problem），需要綜合考慮幾何質量、紋理質量、以及與輸入信息的匹配程度。
自動化評測系統的探索面臨很多技術難題，但令人振奮的是，語言和圖像領域為我們提供了人工評測的新思路。
由此，來自復旦大學和上海AI lab的開發者推出了3DGen-Arena。
為實現多維度、全方位的評估，3DGen-Arena劃分出的5個獨立維度各有側重，互為補充：
“幾何合理性”是3D模型的基本要求，能夠衡量生成模型習得的3D先驗水平；
“幾何精細度”則是更高層次的要求，是提升生成質量的關鍵方向；
“紋理質量”直接影響生成的3D資產的視覺效果，視角一致、富有美學的紋理貼圖是紋理優化的目標；
“幾何-紋理一致性”在現實世界中，常常被忽略。但在生成過程中，我們發現保證一致的貼圖并不總是容易的；
“文本/圖像-3D一致性”是條件生成方式的內在要求，實現跨模態精準控制是不斷追求的目標。
除了匿名模型投票外，3DGen-Arena還允許參與者指定模型進行比較，以及與單個模型交互，滿足社區的多樣需求。
開發人員表示，考慮到部分文生3D模型漫長的訓練時長，以及復雜的數據后處理，目前3DGen-Arena暫不支持開放式輸入的在線生成功能。
但他們精心設計了1k+條prompt，其中文生3D和圖生3D各500余條，是現有其他評測系統prompt集數量的10倍（~10x），涵蓋了“交通工具”、“動物”、“植物”、“食物”、“室內物品”、“室外物品”等6大基礎類別。
為了觀察3D生成模型對prompt復雜程度的敏感程度，除了單個物體生成外，開發人員還設計了物體間的多種排列組合方式，以及一些帶有交互的“微場景”。
截至目前，3DGen-Arena平臺已經內嵌了1w+個3D資產，可以提供5.8w組不同的比較對。
開發人員還表示，之后將繼續維護和完善3DGen-Arena：增添更多的開源、甚至閉源模型；定期維護、更新排名榜；上線支持開放式輸入的在線生成服務……
3D生成為何需要一個科學、全面、魯棒的評價體系？這當中益處不言而喻。
一方面， 通過質量評測，深入理解現有生成模型的優缺點，挖掘潛在的發展方向，進而指導模型改進和新算法的開發，不斷探索AIGC的能力邊界。
另一方面，多維度的3D質量評測對實踐應用有指導性作用， 便于針對不同的下游需求，把握關鍵維度，權衡次要維度。
話不多說了，從事3D生成的或者對3D生成任務感興趣的家人們，快去pick你喜歡的模型吧～
本文轉自 量子位 ，作者：量子位
