你有想象過，有一天，戴上頭盔，眼前立刻懸浮出科幻場景般的炫麗世界嗎？

[[429182]]

在鋼鐵俠電影中，每當托尼斯塔克穿上機械盔甲，頭盔合上的那一刻，超級人工智能管家賈維斯就會在他眼前出現，幫助他分析眼前的情況。

鋼鐵俠頭盔里的賈維斯，其實是以第一人稱視角來理解世界的，所以會帶來電影里那樣的沉浸式體驗。

在未來，增強現實(AR)眼鏡和虛擬現實(VR)耳機等設備在日常生活中，將會變得像智能手機一樣普遍。

想象一下，你的增強現實設備準確地顯示了如何在鼓課上握住木棒，指導你完成一個食譜，幫助你找到丟失的鑰匙，或者像全息圖一樣浮現出你的記憶。

為了實現這些新技術，人工智能需要像我們一樣，從第一人稱的角度理解世界并與它互動，這在研究界，通常被稱為以第一人稱為中心的視覺感知。

然而，今天的計算機視覺（CV）系統從數以百萬計的照片和視頻中學習，盡管發展飛速，有了喜人的研究進展，可這些照片和視頻都是以第三人稱視角拍攝的，相機的視角只是一個行動的旁觀者視角。

嗯。。。鋼鐵俠系列的電影都結束了，現實生活中什么時候才能見到像賈維斯那樣，以第一視角理解世界的AI，出現在增強現實設備里呢？

別著急，有眉目了！

「Ego4D」計劃

2021年，Facebook AI正在宣布開展「Ego4D」（Egocentric 4D Perception）計劃， 這是一個雄心勃勃的長期項目，為的就是解決以第一人稱視覺為中心的感知領域的研究挑戰。

「Ego4D」（Egocentric 4D Perception）是一個大規模的以第一人稱視覺為中心的數據集，具有前所未有的多樣性。它由來自全球9個不同國家74個地點的855名獨特參與者收集的3025小時視頻組成。

該項目匯集了88名研究人員，將這一數據集的規模大幅增加了一個數量級，比任何其他項目都大20多倍，并且即將在11月底開放下載。

讓AI也體驗「第一人稱視角」

就拿過山車來說吧，你在上面體驗著腎上腺素飆升的快感。而下面的人則是看得一臉懵比。

人工智能，就更懵了……如果把CV系統綁在過山車上，它估計完全不知道自己該看些什么。即便在地面上從旁觀者的角度看了幾十萬張過山車的圖片或視頻，也是如此。

AI在第一人稱視角把自行車上的部件識別為「紅綠燈」

Facebook首席研究科學家Kristen Grauman表示：「為了使人工智能系統能夠像我們一樣與世界互動，人工智能領域需要發展到一種全新的第一人稱感知范式。這意味著教人工智能在實時運動、互動和多感官觀察的背景下，通過人類的眼睛理解日常生活活動。」

于是，Facebook AI在「Ego4D」中開放了五個以第一人稱視覺體驗為中心的基準挑戰。

哎，你看到我的手機了嗎？我又找不著我的手機了！

很熟悉，對吧？

Ego4D希望解決的第一個問題是情景記憶（Episodic memory）。

以第一人稱視覺為中心的視頻記錄了相機佩戴者的日常生活，如果用這些視頻去訓練AI，AI就能學會通過檢索過去以第一人稱視覺為中心的視頻中的關鍵時刻來擴展你的個人記憶。

你可能會問人工智能各種自由形式的問題，比如：視覺查詢「我把我孩子最喜歡的泰迪熊放在哪里了？」、文本查詢「我加了多少杯糖」，以及事件查詢「我什么時候和狗玩的」。

為此，模型必須能響應你的提問，并在過去的視頻幀中定位，進一步提供記憶中的三維空間方向，時間，事件細節等信息。

壞了，接下來我要做什么來著？

Ego4D要解決的第二個問題便是預測（Forecasting）：下一步我要做什么？

人工智能可以理解佩戴者的行為會如何影響這個人未來的狀態，比如這個人可能會移動到哪里，他們可能會觸摸什么物體，或者他們接下來可能會從事什么活動。

預測行動不僅需要認識到已經發生的事情，還需要展望未來，預測下一步行動。這樣AI系統就可以在當下提供有用的指導。

比方說，就在你準備端著鍋里的湯就走的時候，你的人工智能助手會趕緊通知你，「等等，你沒加鹽咋吃啊？」

我在做什么，該怎么做？

手-物之間的互動（Hand and object manipulation）也是難點之一，因為AI需要理解我在做什么，該怎么做？

學習手如何與物體互動對于AI指導我們的日常生活至關重要。AI必須檢測第一人稱的人-物交互，識別抓取，并檢測物體狀態變化。這時，AI機器人可以總結視頻中觀察到的人類經驗，獲得自己的經驗。

因此，當你在烹飪一份食譜時，人工智能助手可以指導你需要哪些配料，需要先做什么，了解你已經做了什么，指導你度過每一個「大腦宕機」的時刻。

剛剛他說了什么，他什么時候說的？

人類可以用聲音來理解世界，未來的人工智能也要學會這種視聽記錄（Audio-visual diarization）。

如果你正在上一堂重要的課，但因為爸媽給你發短信而分了心，你可以問AI：「教授把我們的試卷收上去之后，說明天要講什么」？

我正在與誰互動，如何互動？

社會互動（Social interaction）是Ego4D所盼望的最后一個方向。

[[429189]]

除了識別視覺和聲音提示，理解社交互動是智能人工智能助手的核心。一個社交智能人工智能會理解誰在和誰說話，誰在關注誰。

所以，下次你參加晚宴時，即使再嘈雜，AI助手可以幫助你專注于桌子對面和你說話的人在說什么。

以上這些基準挑戰都是以第一人稱視覺為中心的人工智能的基本構建模塊，這將讓AI不僅可以在現實世界中理解和互動，還可以在元宇宙中進行理解和互動，構成更有用的人工智能助手和其他未來創新的基礎。

一個又大又干凈的數據集

基準和數據集在歷史上被證明是人工智能行業創新的關鍵催化劑。畢竟，今天的CV系統可以識別圖像中的幾乎任何物體，是建立在數據集和基準之上的，例如MNIST、COCO和ImageNet，它們為研究人員提供了研究真實世界圖像的測試平臺。

但是以自我為中心的感知是一個全新的領域。我們不可能用昨天的工具來構建明天的創新。Ego4D的空前規模和多樣性對于迎來下一代智能人工智能系統至關重要。

Ego4D數據集的地理覆蓋面、場景、參與者和捕獲模式都各不相同。數據也是使用多種不同的現成頭戴式攝像機捕獲的，如GoPro、Vuzix Blade等等。

除了視頻之外，Ego4D的部分功能還提供其他數據形式：3D掃描立體圖、音頻、多個同步可穿戴攝像頭等等。

Ego4D數據集的貢獻者也來自很多所大學，包括大家熟知的卡內基梅隆大學，佐治亞理工學院，東京大學和新加坡國立大學等。

參與者錄制需要錄制大約8分鐘的日常場景片段，如買菜、做飯、玩游戲時的交談以及與家人和朋友進行的集體活動。

Ego4D捕捉到了佩戴攝像機的人在特定環境中選擇注視的地方，他們用手（和他們面前的物體）做了什么，以及他們如何從第一人稱視角與其他人互動。它們當中的一些鏡頭還可以與3D掃描、慣性測量單元的運動數據和眼球追蹤相搭配。

下一步是什么？

Facebook AI試圖通過Ego4D項目打造一條全新的道路，以構建更智能、更具交互性和靈活性的計算機視覺系統。

隨著人工智能對人們正常生活方式有了更深入的理解，它可以開始以前所未有的方式對交互體驗進行情境化和個性化。

Grauman表示：「Ego4D使人工智能有可能獲得根植于物理和社會世界的知識，這些知識是通過生活在其中的人的第一人稱視角收集的。」

「由此開始，人工智能不僅會更好地了解周圍的世界，有一天它可能還會實現個性化——它能知道你最喜歡的咖啡杯，或者為你的下一次家庭旅行指引路線。」

有了Ego4D的基準支持，配合上在全新數據集中的訓練，AI助手有可能以非常獨特和有意義的方式提供很多的價值，比如，幫助回憶起最近與同事交談中的關鍵信息，或者指導制作新的晚餐食譜。

Facebook表示，從這一系列工作中獲得的價值將推動我們走向未來的「現實」。

對此，瑪麗皇后大學的人工智能研究員Mike Cook認為，「從積極的角度來說，至少就目前而言，這是一個非常棒的大型數據集。」

「不過，這實際上并沒有解決人工智能中的一個緊迫挑戰或問題......除非你是一家想要銷售可穿戴相機的科技公司。它確實告訴你更多關于Facebook的未來計劃，但是......他們向它注入資金并不意味著它一定會變得重要。」