在10月29日凌晨一點(diǎn)(北京時(shí)間)的Facebook Connect 2021大會(huì)上，馬克·扎克伯格宣布Facebook公司正式改名為Meta，并且描繪了許多元宇宙的場(chǎng)景，以體現(xiàn)Meta擁抱元宇宙的決心。　　

　　我們注意到，在近兩小時(shí)的Keynote環(huán)節(jié)中，扎克伯格提及了一款將于2022年推出的短焦VR一體機(jī)，代號(hào)“Project Cambria”，采用Pancake光學(xué)方案，擁有彩色的透視功能，這意味著VR設(shè)備將不再只是一臺(tái)游戲機(jī)，而是變成生產(chǎn)力工具或者說效率工具，其應(yīng)用場(chǎng)景將擴(kuò)展至辦公、會(huì)議，普及程度也隨之實(shí)現(xiàn)量級(jí)提升。這一方案印證了此前影創(chuàng)預(yù)測(cè)的XR產(chǎn)品演進(jìn)路線，與我們的自研算法與技術(shù)積累方向不謀而合。作為國內(nèi)一家能同時(shí)提供VR/AR全棧產(chǎn)品級(jí)算法與系統(tǒng)的公司，影創(chuàng)多年以來一直在致力于研發(fā)光學(xué)、算法等底層技術(shù)的研究，并將這些技術(shù)開放授權(quán)給眾多合作伙伴。

　　一直以來，VR被當(dāng)作游戲機(jī)為大家廣泛熟知。Cambria的出現(xiàn)，VR與AR的融合，將催生出很多新的應(yīng)用場(chǎng)景，開啟VR新世界。VR設(shè)備將成為像電腦和手機(jī)一樣的生產(chǎn)力工具，融入我們的日常生活，成為生活、工作中不可或缺的一部分。佩戴上VR設(shè)備進(jìn)行多地多人虛擬會(huì)議、又或是替代電腦成為我們的移動(dòng)式辦公工具，無論你身處何地都能實(shí)現(xiàn)多屏辦公;無聊時(shí)還能足不出戶和朋友一起跨空間玩一個(gè)線上沉浸式劇本殺放松一下;如果你很忙沒時(shí)間去健身房，那還能來一場(chǎng)酣暢淋漓的VR運(yùn)動(dòng)……　　

 

　　(多屏辦公)　　

 

(虛擬會(huì)議)

　　(日常社交)　　

 

　　(運(yùn)動(dòng)健身)

　　那么，讓我們來解析一下，要實(shí)現(xiàn)Cambria上述功能和應(yīng)用場(chǎng)景，需要哪些核心技術(shù)與算法，以及影創(chuàng)在這方面的累積成果又有哪些呢?

　　01- 佩戴方式　　

 

　　(左為Cambria渲染模型;右為“騏驥”)

　　產(chǎn)品的舒適度，是影響消費(fèi)者選擇的重要因素。VR設(shè)備作為頭戴式產(chǎn)品，即便許多消費(fèi)者更習(xí)慣追求超高清畫面或是良好的沉浸感，但長時(shí)間佩戴后，臉部受壓迫，肩頸也會(huì)受到來自頭部的壓力，不適感與疲憊感隨之而來，從而導(dǎo)致體驗(yàn)感變差，使用率大大減少。從Cambria的預(yù)告視頻中，我們了解到通過環(huán)形佩戴這種方式，將電池至于腦后位置的科學(xué)配重，有效分散了佩戴VR設(shè)備時(shí)的臉部壓力，更符合人體工程學(xué)，進(jìn)而減少VR設(shè)備因沉重?zé)o法長時(shí)間佩戴的問題。而這，與我們今年1月展示的6DoF VR公版樣機(jī)“騏驥”的佩戴設(shè)計(jì)理念不謀而合，不得不感嘆一句“英雄所見略同”。

　　02- Pancake光學(xué)方案　　

 

　　(Cambria Pancake光路示意圖)

　　Pancake光學(xué)方案會(huì)使VR設(shè)備的體積縮小(前殼厚度從7cm左右變成2.5cm左右)、重量更輕(前殼重量從400g左右變成150g左右)。這是由于Pancake方案采用多鏡片折疊光路，可以使VR設(shè)備內(nèi)部結(jié)構(gòu)更加緊湊。但是光路的復(fù)雜程度直接導(dǎo)致了光學(xué)模組加工工藝難度的攀升，控制良率的難度相比傳統(tǒng)光學(xué)的單片菲涅爾透鏡更高。輕薄的光學(xué)模組加上環(huán)形佩戴方式，消費(fèi)者在佩戴VR設(shè)備時(shí)舒適度會(huì)明顯提升。

　　Pancake光學(xué)方案可以實(shí)現(xiàn)大視野、出色的圖像性能以及超緊湊的尺寸，毋庸置疑這三點(diǎn)與未來VR設(shè)備的需求完美契合。因此，VR設(shè)備在體積和重量上都有新的跨越后，可供長時(shí)間佩戴，并且移動(dòng)性增強(qiáng)，其應(yīng)用場(chǎng)景的選擇性將更為廣泛。未來的VR設(shè)備將不僅僅只是娛樂工具那么單一，而是變成了生產(chǎn)力工具。影創(chuàng)已經(jīng)聯(lián)合合作伙伴在Pancake光學(xué)方面做了多年的研發(fā)設(shè)計(jì)和方案積累，可以滿足多類屏幕和顯示參數(shù)的需求。

　　03- 彩色See through　　

 

　　(Cambria彩色See-through)

　　目前，VR設(shè)備使用空間范圍有限，這也是行業(yè)一直在攻克的難關(guān)之一。VR設(shè)備作為沉浸式體驗(yàn)設(shè)備，佩戴后看不見真實(shí)世界，用戶在使用時(shí)頻繁地脫摘非常令人頭疼。在本屆大會(huì)上，See-through功能的重大改進(jìn)也是亮點(diǎn)之一，從原先Quest 2的低分辨率單色See-through系統(tǒng)提升至高清晰度彩色See-through功能，用戶能夠在佩戴VR設(shè)備時(shí)，通過開啟對(duì)外的彩色攝像頭看見高清、彩色、無扭曲低延遲的真實(shí)世界，如此看來，VR與AR相融合的時(shí)代正在悄悄來臨。

　　若要實(shí)現(xiàn)高清晰度彩色See-through功能，則需要在VR頭顯上最少裝置2個(gè)RGB攝像頭。攝像頭存在著天然物理延遲的問題，因處理的信息量增長，高分辨率RGB攝像頭的延遲會(huì)比原先的灰度攝像頭更高。為了降低高分辨率RGB攝像頭的物理延遲，我們通過空間扭曲等一系列的技術(shù)對(duì)畫面進(jìn)行預(yù)測(cè)及三維重構(gòu)，將真實(shí)世界通過渲染的方式呈現(xiàn)在用戶眼前，以此填補(bǔ)掉幀帶來的畫面缺失，從而降低物理延遲帶給用戶的不適感。另外，雖然RGB攝像頭比灰度攝像頭的物理延遲更高，但它能識(shí)別更多色彩，因此魯棒性更好，可以在更復(fù)雜的光照環(huán)境下使用，更精準(zhǔn)地識(shí)別手勢(shì)追蹤，SLAM空間定位功能也會(huì)隨之提升。

　　當(dāng)VR設(shè)備最重要的一個(gè)缺點(diǎn)被克服，便意味著其移動(dòng)性大大增強(qiáng)。用戶不再拘泥于一個(gè)劃定的空曠環(huán)境，也不再需要頻繁地摘脫，而是能夠一鍵輕松切換虛擬世界與真實(shí)世界，VR與AR相結(jié)合的設(shè)備，確實(shí)非常令人向往。

　　可以預(yù)測(cè)，未來五年高端AR眼鏡將以Cambria的形態(tài)出現(xiàn)。目前市面上一些價(jià)格昂貴的高端AR眼鏡以及它們的應(yīng)用場(chǎng)景都將被具備彩色See-through功能的VR設(shè)備取代，因?yàn)樗瑫r(shí)擁有更大的視場(chǎng)角、更好的顯示效果以及更低的價(jià)格，將全面替代目前傳統(tǒng)光學(xué)高端AR眼鏡涉足的教育、工業(yè)、文旅、醫(yī)療等行業(yè)。不難預(yù)見，在不遠(yuǎn)的將來，整個(gè)XR行業(yè)會(huì)有更大的格局變化。

　　04- 手柄自追蹤　　

 

　　(Cambria手柄)

　　上述我們說到，Cambria將使用RGB攝像頭實(shí)現(xiàn)高清晰度彩色See-through功能，能夠讓用戶在佩戴VR設(shè)備的情況下依然可以看見高清彩色真實(shí)世界。但RGB攝像頭沒有灰度攝像頭的濾光片，無法很好地識(shí)別紅外光，從而導(dǎo)致現(xiàn)在大部分VR設(shè)備所使用的紅外LED式圓環(huán)追蹤方式無法實(shí)現(xiàn)。那么，問題就來了，當(dāng)VR頭顯無法追蹤手柄，手柄該何去何從?答案很簡單，手柄實(shí)現(xiàn)自追蹤。

　　我們猜測(cè)，Cambria新手柄采用自追蹤模式，手柄上安裝有3個(gè)不同方向的相機(jī)，用于視覺VIO跟蹤定位。工作原理大概是手柄端實(shí)時(shí)進(jìn)行視覺VIO算法，獨(dú)立解算位姿，并與頭顯進(jìn)行視覺標(biāo)定。使用RGB攝像頭后，手柄能夠360度追蹤，不再受限于設(shè)備傳感器的FOV(視場(chǎng)角)大小，能夠獲得更大自由度的交互體驗(yàn)。手柄自帶算力實(shí)現(xiàn)獨(dú)立SLAM空間定位后，原先集中于VR頭顯的算力負(fù)擔(dān)會(huì)分散，減少了負(fù)載和功耗，頭顯可以設(shè)計(jì)得更加輕便。另外，由于取消了紅外LED燈環(huán)，頭顯上的攝像頭采用可見光跟蹤，可以適應(yīng)更復(fù)雜的光照環(huán)境，改善在室外場(chǎng)景的使用體驗(yàn)。

　　而實(shí)現(xiàn)手柄自追蹤，有一定的難度。首先，它需要在手柄上搭載更復(fù)雜的算法和更高算力的芯片。我們長期以來致力于研究高性能、低消耗的SLAM算法，因此能很輕松地在手柄上實(shí)現(xiàn)定位追蹤。其次，當(dāng)頭手沒有實(shí)時(shí)聯(lián)系時(shí)，頭部和手柄的坐標(biāo)系要做到三點(diǎn)統(tǒng)一需要一系列地圖和物體識(shí)別的技術(shù)，而我們同樣也有著這方面的雄厚積累。

　　手柄獨(dú)立意味著，將來它不再是VR產(chǎn)品的固定配件，而是成為一個(gè)選配件。那么，當(dāng)VR設(shè)備可以脫離手柄后，我們?cè)撘云渌畏N方式交互呢?讓我們一起往下看。

　　05- 自然手勢(shì)識(shí)別　　

 

　　(Cambria手勢(shì))

　　當(dāng)VR設(shè)備搭載RGB攝像頭后，可以識(shí)別更多色彩，魯棒性更好，可以更精準(zhǔn)對(duì)手部動(dòng)作進(jìn)行識(shí)別。因此，自然手勢(shì)識(shí)別成為VR設(shè)備交互的最佳選擇。在日常使用場(chǎng)景中，用戶可以隨時(shí)隨地戴上VR設(shè)備，通過自然手勢(shì)進(jìn)行一系列的操作，不需要再攜帶手柄，實(shí)現(xiàn)真正意義上的移動(dòng)式便攜。

　　影創(chuàng)科技一直致力于自然手勢(shì)識(shí)別技術(shù)的研發(fā)，魯棒性好、低功耗、低時(shí)延、視場(chǎng)角大，在行業(yè)中屬于前沿水平。影創(chuàng)科技的全自由度自然手勢(shì)基于30個(gè)自由度以及用戶個(gè)性化的手掌參數(shù)，為用戶創(chuàng)造更“本能”更“真實(shí)”的交互體驗(yàn)，可以不受固定姿態(tài)的限制，以任意手姿勢(shì)與虛擬對(duì)象進(jìn)行交互，學(xué)習(xí)成本低。而手勢(shì)識(shí)別功能的增加，在VR與AR相融合的時(shí)代，將提升用戶的交互體驗(yàn)，VR設(shè)備的移動(dòng)性及實(shí)用性都將逐步提升?！　?/p>

　　

 

　　(影創(chuàng)全自由度自然手勢(shì))

　　06- 虛擬鍵盤　　

 

　　(Horizon Workrooms-虛擬鍵盤)

　　隨著VR設(shè)備功能的增加，其將從原先的娛樂產(chǎn)品蛻變成一個(gè)集娛樂、辦公、生活于一體的新一代通用計(jì)算平臺(tái)。當(dāng)我們想足不出戶玩一個(gè)沉浸式大型VR游戲的時(shí)候，便可以拿出手柄;當(dāng)我們想辦公、社交時(shí)，自然手勢(shì)則是最佳交互方式，當(dāng)代替鼠標(biāo)的自然手勢(shì)實(shí)現(xiàn)之后，它的好搭檔——鍵盤，自然也是不可或缺的一項(xiàng)。

　　通過深度學(xué)習(xí)算法，未來VR可以把重建好的虛擬鍵盤模型和實(shí)際物體貼合疊加，然后進(jìn)行跟蹤，并且對(duì)其姿態(tài)進(jìn)行準(zhǔn)確估計(jì)，從而實(shí)現(xiàn)虛擬鍵盤的應(yīng)用。虛擬鍵盤、自然手勢(shì)，甚至更多虛擬配件的出現(xiàn)，將幫助用戶實(shí)現(xiàn)無空間無時(shí)間限制的辦公方式，社交自然更是不言而喻。

　　影創(chuàng)物體錨點(diǎn)系統(tǒng)具備從物體建模到物體跟蹤的全流程系統(tǒng)。物體建模操作簡單，成功率高，還支持自建的模型和其他平臺(tái)建立的模型。物體跟蹤高精度高魯棒性，可以實(shí)現(xiàn)精準(zhǔn)虛實(shí)疊加，精度達(dá)到了毫米級(jí)，疊加鍵盤自然也不在話下?！　?/p>

 

　　(影創(chuàng)虛擬鍵盤)

　　另外，未來通過攝像頭，我們還可以對(duì)整個(gè)房間拍攝的圖像進(jìn)行深度估計(jì)，并且對(duì)計(jì)算出來的深度點(diǎn)云信息進(jìn)行融合，最終對(duì)房間建立一個(gè)完整的幾何描述。最終建立整個(gè)房間的具體位置的虛擬空間的對(duì)應(yīng)關(guān)系，從而將數(shù)字信息永久的放置在現(xiàn)實(shí)世界中。

　　07- 多任務(wù)3D屏幕　　

 

　　(Cambria多任務(wù)3D屏幕)

　　由于各種原因，許多人都需要多顯示器設(shè)置。但由于物理空間的限制以及多顯示器需考慮成本等多種因素，無法實(shí)現(xiàn)多屏辦公。然而，在虛擬現(xiàn)實(shí)的加持下，我們可以坐擁多屏3D交互，辦公、社交、觀影、游戲、音樂等等，你想要的都可以同時(shí)進(jìn)行。最重要的是，它既沒有物理空間的限制，也沒有成本預(yù)算這種現(xiàn)實(shí)問題的考量。伴隨著自然手勢(shì)與虛擬鍵盤功能的推出，多任務(wù)3D屏幕將成為未來用戶的辦公選擇。無論用戶身處何處，只要有一個(gè)VR設(shè)備，便可以擴(kuò)展自己的工作空間，實(shí)現(xiàn)辦公、社交、娛樂無縫切換。21世紀(jì)的我們，生活的主力依靠著手機(jī)與電腦、平板等電子產(chǎn)品。暢想一下未來，以上這些產(chǎn)品都被壓縮成一個(gè)便攜式設(shè)備，是何等便捷?

　　就在今年夏天，我們對(duì)外預(yù)告了新系統(tǒng)Tesseract OS，并推出了體驗(yàn)版，邀請(qǐng)眾多開發(fā)者與用戶體驗(yàn)。Tesseract OS采用了多任務(wù)窗口，采用全新Dock欄，弧形大屏等新風(fēng)格，與Meta所公布的多任務(wù)3D屏幕再一次不謀而合。另外我們還加入ASW、PTW等眾多渲染技術(shù)上的升級(jí)，降低延遲和眩暈，提升用戶體驗(yàn)。　　

 

　　(Tesseract OS 多任務(wù)3D屏幕)

　　08- 體積視頻　　

 

　　(Cambria體積視頻)

　　體積視頻簡單來說就是將一連串的三維模型連接在一起，并讓他們動(dòng)起來，能夠自由視角觀看。體積視頻給視頻賦予了體積的概念，讓二維視頻內(nèi)容成為三維立體。它利用攝像機(jī)采集到的深度色彩等數(shù)據(jù)通過算法將現(xiàn)實(shí)世界通過三維模型展現(xiàn)出來，可以在任何平臺(tái)上(手機(jī)、電腦、平板、VR設(shè)備等)播放，用戶可以在任意時(shí)間任意角度進(jìn)行觀看，即賦予用戶使用 6DoF觀看視頻的權(quán)利。

　　簡單來說，就是實(shí)現(xiàn)全息影像功能。我們可以通過VR設(shè)備，看到一個(gè)身處不同空間的三維真人影像。在疫情肆虐地球的當(dāng)下，全息影像的功能顯得尤為重要。在Meta公布的視頻中，我們也看到了未來新健身的模式，在任何場(chǎng)合，都會(huì)有全息教練在用戶眼前指導(dǎo)用戶如何健身。不僅如此，體積視頻還能用于遠(yuǎn)程會(huì)議場(chǎng)景。會(huì)議是辦公里最無法克服空間問題的一項(xiàng)內(nèi)容，而虛擬會(huì)議能夠徹底解決解決空間所帶來的無法跨越的鴻溝。

　　想必大家對(duì)影創(chuàng)全息會(huì)議系統(tǒng)一定不陌生。它是一種全新的會(huì)議模式，能夠?qū)崿F(xiàn)遠(yuǎn)程合作及跨平臺(tái)信息分享，達(dá)到多人、多地的實(shí)時(shí)沉浸式會(huì)議。影創(chuàng)全息會(huì)議能夠?qū)崟r(shí)傳輸亞厘米精度的全息真人形象，且支持自然手勢(shì)、手柄及語音等多種交互方式，更支持多種類的虛擬數(shù)字形象，可謂是科技賦能新辦公模式。如此一來，VR設(shè)備成為生產(chǎn)力工具指日可待。　　

 

　　(影創(chuàng)全息會(huì)議系統(tǒng))

　　綜合來講，Tesseract OS集成上述所有自研算法與技術(shù)，從而實(shí)現(xiàn)高性能、低延遲、豐富功能，也是目前行業(yè)內(nèi)少有能夠提供一站式解決方案的操作系統(tǒng)。相信就像Windows之于PC，Android之于手機(jī)，Tesseract OS將賦能VR成為新生產(chǎn)力工具。趣立科技是影創(chuàng)集團(tuán)對(duì)外輸出Turn-Key方案的平臺(tái)，在底層算法和技術(shù)方面有雄厚積累，是國內(nèi)能同時(shí)提供VR/AR全棧產(chǎn)品級(jí)算法與系統(tǒng)的公司，并將這些技術(shù)開放授權(quán)給合作伙伴。元宇宙時(shí)代的序幕已經(jīng)拉開，一同跨入元宇宙世界的大門吧!