阿里巴巴聯(lián)合學(xué)界開源大型3D場(chǎng)景數(shù)據(jù)集
源于阿里巴巴淘系的工業(yè)生產(chǎn)流程，兼具質(zhì)量與數(shù)量，模型包含豐富的幾何與紋理細(xì)節(jié)，阿里巴巴聯(lián)合學(xué)界開源的場(chǎng)景布局?jǐn)?shù)據(jù)集 3D-FRONT 將填補(bǔ)大規(guī)模高質(zhì)量 3D 場(chǎng)景布局?jǐn)?shù)據(jù)集空白的現(xiàn)狀。
近期，阿里巴巴淘系技術(shù)部門的趙斌強(qiáng)、賈榮飛等與西蒙弗雷澤大學(xué)的張皓教授以及中科院計(jì)算所的高林、張凌霄多方共同合作，在 CVPR 2020 的 Workshop“Learning 3D Generative” 中開源了大型 3D 場(chǎng)景數(shù)據(jù)集 3D-FRONT（3D Furnished Rooms with layOuts and semaNTics），以填補(bǔ)目前學(xué)界在大規(guī)模高質(zhì)量 3D 場(chǎng)景布局?jǐn)?shù)據(jù)集上空白的現(xiàn)狀。其中，張皓教授是 CVPR 2020“Learning 3D Generative”Workshop 的核心組織者之一。
接下來我們來看 3D-FRONT 的技術(shù)細(xì)節(jié)。
3D 場(chǎng)景數(shù)據(jù)將推動(dòng)基于 AI 的 3D 應(yīng)用研究
圖 1：三維室內(nèi)場(chǎng)景研究與應(yīng)用。
3D 與 2D 場(chǎng)景理解是打造未來 AI 世界所研究的基礎(chǔ)核心課題，涵蓋機(jī)器人室內(nèi)尋路、線上商城、室內(nèi)設(shè)計(jì)等室內(nèi)場(chǎng)景相關(guān)的應(yīng)用。這些應(yīng)用的背后涉及到語義分割、物體識(shí)別、場(chǎng)景生成等深度學(xué)習(xí)相關(guān)的理論與技術(shù)，而這些技術(shù)都是需要依賴大量數(shù)據(jù)來訓(xùn)練相關(guān)深度模型從而發(fā)揮作用。
因此，高質(zhì)量的大型 3D 場(chǎng)景數(shù)據(jù)集對(duì)于上述相關(guān)研究的推動(dòng)具有重大意義。
然而，現(xiàn)階段學(xué)術(shù)界亟須大規(guī)模高質(zhì)量的 3D 場(chǎng)景數(shù)據(jù)集以支持和推動(dòng)數(shù)據(jù)驅(qū)動(dòng)的智能化 3D 場(chǎng)景的相關(guān)研究，特別是具有高質(zhì)量布局與室內(nèi)設(shè)計(jì)的 3D 場(chǎng)景數(shù)據(jù)集。
目前，相關(guān)的數(shù)據(jù)集有，例如：普林斯頓大學(xué)提出的 SUNCG、斯坦福大學(xué)提出的 ScanNet、上海科技大學(xué)提出的 structured3D 等，但是這些數(shù)據(jù)集存在場(chǎng)景內(nèi)容不夠豐富，數(shù)據(jù)規(guī)模不夠龐大的問題。比如，structured3D 數(shù)據(jù)集中雖然提供了 3 千多個(gè)場(chǎng)景，但是未能提供具有高質(zhì)量紋理的三維模型數(shù)據(jù)。
圖 2：3D-FRONT 數(shù)據(jù)采集流程。
阿里巴巴作為世界級(jí)的電商互聯(lián)網(wǎng)巨頭，其官方家裝家居設(shè)計(jì)平臺(tái) - 躺平設(shè)計(jì)家積累了海量高質(zhì)量家居設(shè)計(jì)方案。
以這些真實(shí)家居場(chǎng)景為基礎(chǔ)，阿里巴巴淘系技術(shù)部結(jié)合 3D 人工智能技術(shù)初步打造了場(chǎng)景化數(shù)字營(yíng)銷，推出了智能設(shè)計(jì)搭配服務(wù)，并創(chuàng)造了大量精美場(chǎng)景布局與設(shè)計(jì)數(shù)據(jù)。這些場(chǎng)景數(shù)據(jù)很好地契合了學(xué)術(shù)界的需求。
一言以蔽之，3D-FRONT 數(shù)據(jù)集源于阿里巴巴淘系的工業(yè)生產(chǎn)流程，兼具質(zhì)量與數(shù)量。
3D-FRONT 填補(bǔ)學(xué)術(shù)界 3D 場(chǎng)景布局?jǐn)?shù)據(jù)空白
圖 3：3D-FRONT 數(shù)據(jù)集屬性。
3D-FRONT 包含 6,813 個(gè)真實(shí)戶型，平均每個(gè)戶型包含 7 個(gè)房間場(chǎng)景，其中 19,775 個(gè)房間場(chǎng)景具有人工驗(yàn)證過的精美室內(nèi)設(shè)計(jì)信息。每個(gè)房間內(nèi)涉及的家具均來自于阿里巴巴已開源的 3D 模型數(shù)據(jù)集 3D-FUTURE（3D FUrniture shapes with TextURE），該數(shù)據(jù)集的模型都包含豐富的幾何與紋理細(xì)節(jié)。
相比于其他 3D 場(chǎng)景數(shù)據(jù)集，3D-FRONT 在以下指標(biāo)處于領(lǐng)先地位，包括戶型數(shù)目、房間場(chǎng)景數(shù)目和房間類型等，并且還提供了高質(zhì)量硬裝模型和家具模型。
場(chǎng)景中的 3D 幾何模型具有豐富的幾何細(xì)節(jié)與高質(zhì)量的紋理圖，這些幾何模型來自于阿里巴巴已開源的 3D 模型庫數(shù)據(jù)集 3D-FUTURE。
圖 4：3D-FRONT 與其他場(chǎng)景數(shù)據(jù)集對(duì)比。
目前，3D-FRONT 與 3D-FUTURE 數(shù)據(jù)集已對(duì)外開放并提供下載，同時(shí)，淘系技術(shù)部與今年 3 月同步發(fā)起第一屆阿里巴巴 3D 人工智能挑戰(zhàn)賽，目前初賽報(bào)名階段已結(jié)束，共吸引來自全球 1300 多支隊(duì)伍報(bào)名，共同參與并建立學(xué)術(shù)研究與工業(yè)應(yīng)用的橋梁。大賽將于 8 月 21 日決出賽道名次，后續(xù)結(jié)果敬請(qǐng)關(guān)注。
3D-FRONT 數(shù)據(jù)集主頁：https://tianchi.aliyun.com/specials/promotion/alibaba-3d-scene-dataset
3D-FUTURE 數(shù)據(jù)集主頁：https://tianchi.aliyun.com/specials/promotion/alibaba-3d-future
Learning 3D Generative Models CVPR 2020 Workshop: https://learn3dgen.github.io/
3D-FRONT 數(shù)據(jù)集貢獻(xiàn)者
3D-FRONT數(shù)據(jù)集的貢獻(xiàn)者共有7位，分別是來自阿里巴巴的Huan Fu、Bowen Cai、賈榮飛和趙斌強(qiáng)，中科院計(jì)算技術(shù)研究所的高林和張凌霄，以及西蒙弗雷澤大學(xué)的張皓。
