2016年8月26-27日，由51CTO.com主辦的【WOT2016移動互聯網技術峰會】在北京粵財JW萬豪酒店隆重召開。自2012年以來，WOT品牌大會秉承專注技術、服務技術人員的理念已經成功舉辦十一屆，不僅積累了大量的專家資源，更獲得廣大IT從業者和技術愛好者的認可和好評，并成為業界重要的技術分享及人脈拓展平臺。

在本次WOT2016移動互聯網技術峰會上，RGBVR聯合創始人兼CTO任福新分享了主題為《VR直播的挑戰和關鍵技術》的演講，具體包括VR直播面臨的很多問題，從系統落地角度，拍攝、編碼壓縮、網絡傳輸和播放等各個環節進行系統的設計和優化。從用戶體驗角度，需要在臨場感、沉浸感和互動性三個方面一起發力，才能為用戶提供合格的VR直播。會后，51CTO記者采訪了任老師，他就VR直播技術的發展現狀、應用場景、存在的實現難點和未來3-5年的發展目標等話題進行了詳細闡述。

嘉賓簡介

[[170604]]

任福新：之前做手機游戲，于2015年創立RGBVR并兼任CTO，專注于VR視頻方面的產品和技術研究，期間搭建國內***VR直播秀場-小花秀。

目前，虛擬現實技術VR和VR直播這兩塊發展火爆，特別是VR直播成為2016年VR行業的熱點，得到大家的普遍看好。據艾媒咨詢公司的數據顯示，到2020年，VR直播的市場規模將達到550多億元，成為一個新興的藍海市場。

為什么VR直播從內容方面可以脫穎而出，畢竟VR游戲和VR視頻是VR的兩個最重要的內容。這是因為VR的游戲體驗成本相對比較高。而VR視頻的制作成本和拍攝的邏輯方式，從業者還處于摸索期。相比較而言，VR直播的創作成本比較低。目前，大家在VR上的直播嘗試，已經有很多公司在做，但是成型的體驗比較好的產品還沒有出來，仍處在萌芽期。

VR直播面臨的五大挑戰包括：1.適合VR的內容形式與表演方式。2.拍攝高質量(清晰、真實)的VR視頻。3.分發和存儲高分辨率和高碼率的VR視頻對帶寬的要求較高。4.具體的呈現方式(設備質量、算法)。5.直播的交互方式。

作為VR的一大助力，哪些內容適合采用VR直播模式傳播

任老師認為可以使用的行業很多，傳統適合做VR的內容，同樣適合現在的VR直播。而且，原來不適合手機直播，PC直播的內容，也將變得適合VR直播。在這方面，RGBVR已經做了一些嘗試和探索，包括在不侵害當事人隱私前提下的醫療行業手術直播，一些發布會的直播，事件和演唱會的直播等。相對于日常的電視直播方式，放到VR場景里面的直播，觀看者的視野更加開闊和清晰，對全場景盡在掌握。

《小花秀》是RGBVR推出的VR視頻直播互動平臺，通過廣角3D等技術力求***呈現主播的表演，為用戶提供身臨其境的觀看體驗。小花秀的***個嘗試是180度的3D直播，因為大部分人看VR的時候，長期觀看習慣就是面前的角度，不會頻繁地扭頭來回看。之所以選用3D是因為這樣的立體效果非常重要，它讓你能夠看出來，物體離你有多遠。這個和在真實生活，用戶看到的場景是一樣的，會產生一個真實的沉浸感。小花秀的國外對標產品是美國的NextVR，NextVR主要的應用場景是大型體育賽事和大型活動，內容量不是很大，每次使用一個專門的采訪車開到現場來做活動直播。而小花秀也是采用3D方式呈現，希望這一產品可以讓更多人使用，降低用戶的使用成本。小花秀的運作目標是打造一個綜合的娛樂平臺，跟現在的手機直播一樣，最終每個喜歡它的用戶都可以收看，感受VR的魅力。

VR直播技術的實現難點

任老師提的VR直播技術的實現難點很多，包括從流程、拍攝端，傳輸到云端分發，到播放端，頭盔，端到端，還有視頻的應對，幾乎每一個環節都存在困難。但是，RGBVR團隊已經在小花秀上線前的測試過程中基本處理完各個“坑”了。

VR直播流程和普通直播流程很像，但要達到身臨其境的感覺，在頭盔端需要達到4K甚至更高的分辨率，所以整個流程對各個環節的要求都提高了。

VR直播環節需要具備的條件有：

1.合格的拍攝設備。

有的還會在設備內完成圖像的部分處理，所以需要高性能的處理芯片。

• 多顆廣角鏡頭

• 傳感器同步

• 色彩、白平衡等參數一致

2.高效的視頻處理流程

• 拼接：將多鏡頭拍攝的畫面進行亮度色彩調整、對齊、畸變矯正、投影到球面等一系列處理后，合成為一幅完整畫面的過程。

• 基于圖像特征control points控制點。

3.夠寬的網絡傳輸

• 盡量減少上行碼率

• 使用云轉碼生成多碼率視頻

• 根據客戶情況動態調整下行碼率

4.舒適的頭顯設備

(1)移動頭顯設備

• Cardboard

• GearVR

• 一體機

(2)參數指標

• 分辨率：2K

• 計算能力：驍龍820

• 解碼能力：4K硬解

• 系統&交互：Daydream

• 其他：無畸變、無色散、角度夠大、延遲低

5.精心打造的直播應用

(1)營造強沉浸感

• 全空間包圍

• 直播畫面大于人眼FOV

• 等比例還原

• Avatar形象提升代入感

(2)營造強臨場感

• 3D

(3)豐富方便的交互

• 語音聊天

• 送禮物

(4)方便的交互方式

在VR直播中，VR的交互是比較難實現的，因為一旦用戶戴上了頭盔，呈現的交互方式和原來將完全不一樣。在PC時代，用戶已經習慣了使用鼠標、鍵盤和手機的觸摸屏進行信息輸入。到了VR時代，現在還沒有一個很方便的輸入方式，可以讓大家把這個習慣傳承和延續下來。在VR世界里面，如果用戶想快速地輸入一些文字類內容，包括一些交互是比較困難，這個是VR直播面臨的***一個問題，現在有一些方法仍在探索一些更新的交互點。

(5)其他：高性能解碼播放、適配各種手機和頭顯設備、低延遲、秒開、音畫一致等。

***在VR直播發展趨勢這塊，任老師看好三維場景、真實互動和VR穿梭。上面介紹的這些形式僅僅是VR直播最基礎的形式。很多用戶往往都會想自由走動，從不同角度觀看。未來的VR直播肯定能夠支持這點，使用三維場景真實還原現實環境，并提供更自然直接的交互方式。微軟、Replay Technologies的FreeD已經在這些方面有些成果出來了。甚至像前段時間intel發布的Project Alloy宣傳片中展現的那樣，與環境發生真實交互。

未來3到5年，VR直播行業的發展前景

手機直播在這兩年變得非常的火，無論是什么類型的公司，比如互聯網公司、傳統公司和旅游公司，現在直播已經成了一個標配，成為大家傳遞信息的一種新方式，包括圖片，文字，視頻，還有直播，這個是交換信息傳遞的一種進步方式。VR就是下一個，就是一系列的信息傳遞之后的下一個方式。這種方式中，VR直播將扮演非常重要的一個角色。它會深入到生活的方方面面，深入到各個行業里面去，也會慢慢成為標配，會成為大家日常生活當中獲取知識并與親朋好友交流的一種標準方式。

從國內發展行業看，所有大的手機廠商都在規劃這個未來發展并推出自己的產品，無論是適配VR的頭盔手機，還是自己去生產VR頭盔。而且，國外的Facebook，谷歌，也在做這個事情。相信有這些大廠商的推動，VR直播的發展速度將會更快。

采訪視頻鏈接地址：http://v.pptvyun.com/show/0a2dnq6ao6Cimq2L4K2enK_hoaecnKaXpw.html