為了搞清楚人類是怎么看世界的，計(jì)算機(jī)開始學(xué)著“轉(zhuǎn)動眼球”了：

然后憑借轉(zhuǎn)動的眼球“搜集要觀測的信息”，再聚焦在文字或者圖像上，開始“收集數(shù)據(jù)”：

不僅能正常讀書看畫，甚至能模擬人類在無聊、興奮、緊張等各種不同情緒下的瞳孔放縮、眨眼頻率的細(xì)微變化。

事實(shí)上，這是杜克大學(xué)的研究人員最新開發(fā)的一種“虛擬眼睛”，可以精確模擬人類觀測世界的方式。這項(xiàng)研究目前已經(jīng)開源，并即將發(fā)表于通信類頂會 IPSN 2022 上。

通過這項(xiàng)研究得到的幾近真實(shí)的數(shù)據(jù)，將全部反哺給計(jì)算機(jī)。

這些數(shù)據(jù)有什么用?

這種基于眼球追蹤(Eye Tracking)技術(shù)得到的數(shù)據(jù)常常被稱為眼動數(shù)據(jù)，包括注視時長、眼跳、追隨運(yùn)動等多個屬性。

就如我們常常將眼睛成為心靈之窗一樣，這些眼動數(shù)據(jù)能反映不少人類的真實(shí)信息。比如，瞳孔的擴(kuò)張、眼跳、游移次數(shù)可以表現(xiàn)當(dāng)前主人的情緒(無聊或興奮)、注意力是否集中、對某項(xiàng)任務(wù)是新手或嫻熟、甚至是對某種特定語言的精通與否。

這項(xiàng)研究的作者之一 Maria Gorlatova 甚至表示：

(眼動數(shù)據(jù))可能無意中暴露出性別和種族偏見、我們不想讓別人知道的興趣，甚至我們自己都不了解的信息。

因此，對這些眼動數(shù)據(jù)的學(xué)習(xí)和研究，自然也就能產(chǎn)生一系列傳感應(yīng)用：包括認(rèn)知負(fù)荷估計(jì)、久坐活動識別、閱讀理解分析和情感識別。很多企業(yè)和開發(fā)者，比如微軟的 VIVE Pro Eye，已經(jīng)開始采用眼球追蹤來實(shí)現(xiàn)基于目光的新的交互和環(huán)境感知。

然而，在收集大規(guī)模的、有標(biāo)簽的眼動數(shù)據(jù)時，難免會碰到幾個問題：

• 人類視覺行為的隨機(jī)性增加了數(shù)據(jù)收集的成本。
• 與人類受試者合作過程中可能涉及隱私侵犯問題。
• 生產(chǎn)模型訓(xùn)練所需的數(shù)據(jù)的時間成本過高(可能需要數(shù)以百計(jì)的人帶著設(shè)備不間斷地用眼數(shù)小時才能產(chǎn)生)。

虛擬眼睛收集數(shù)據(jù)

如何解決上面的問題呢?杜克大學(xué)的研究團(tuán)隊(duì)提出了一套受心理學(xué)啟發(fā)的模型 EyeSyn。這一模型只利用公開的圖像和視頻，就能合成任意規(guī)模大小的眼動數(shù)據(jù)集。它的整體架構(gòu)如下：

整體思路是以圖像和視頻作為輸入，并將其作為視覺刺激，以生成相應(yīng)的眼動數(shù)據(jù)。

大的架構(gòu)又由三個小模型組成：

ReadGaze 模型

模擬文本閱讀中的視覺行為。擁有一個基于文本識別的檢測模塊、一個模擬跳讀視覺行為的模擬器。

VerbalGaze 模型

模擬在口頭交流中固定在面部某個區(qū)域、以及在面部不同區(qū)域之間切換注意力的視覺行為。擁有一個面部區(qū)域跟蹤模塊、一個基于馬爾可夫鏈的注意力模型(Markov Chain-based Attention Model)。

StaticScene 和 DynamicScene 模型

模擬感知靜態(tài)和動態(tài)場景過程中的眼球運(yùn)動。擁有一個基于圖像特征的顯著性檢測(Saliency Detection)模型，用以識別視覺場景中潛在的定點(diǎn)位置。

△動態(tài)場景中的眼動數(shù)據(jù)

基于這些構(gòu)成，EyeSyn 不需要基于已有的眼動數(shù)據(jù)進(jìn)行訓(xùn)練，上崗就能直接開始工作。

并且，與傳統(tǒng)眼動數(shù)據(jù)的收集過程相比，EyeSyn 在模擬不同的眼動跟蹤設(shè)置、視覺距離、視覺刺激的渲染尺寸、采樣頻率和受試者多樣性上，也更加方便快速。

現(xiàn)在，只基于一小部分圖像和視頻，EyeSyn 就可以合成超過 180 小時的眼動數(shù)據(jù)，比現(xiàn)有的基于目光的活動數(shù)據(jù)集大 18 到 45 倍：

研究人員 Maria Gorlatova 表示，“合成數(shù)據(jù)本身并不完美，但這是一個很好的起點(diǎn)?！?/p>

小公司不用再花費(fèi)過多的時間和金錢與人類受試者合作，建立真實(shí)活動數(shù)據(jù)集，而是可以直接使用這種方法。

這種更加快速的眼動數(shù)據(jù)的生產(chǎn)方式，將使得普通的 VR、AR、還有元宇宙平臺中的相關(guān)應(yīng)用程序的制作都更加便捷。

△Maria Gorlatova

論文：

https://www.researchgate.net/publication/359050928_EyeSyn_Psychology-inspired_Eye_Movement_Synthesis_for_Gaze-based_Activity_Recognition。

開源鏈接：

https://github.com/EyeSyn/EyeSynResource。

參考鏈接：

https://techxplore.com/news/2022-03-simulated-human-eye-movement-aims.html。