谷歌的宣傳視頻，竟然作假了？

在谷歌昨天發布的Gemini的宣傳視頻中，所有人都被那一段6分鐘一鏡到底的互動視頻驚艷到了。

圖片

一天之內有720萬的播放量。網友驚呼，Gemini看起來就像一個能隨時事無巨細地向你解釋一切的朋友。

圖片

視頻中看起來，好像Gemini能夠實時地感知人類的動作，并且直接做出語音回應。

然而，有越來越多的人質疑demo的真實性。

彭博社的Parmy Olsen，第一個質疑視頻造假。

圖片

隨后，谷歌官博也放出了解釋——

是的，視頻的確有后期制作和剪輯的成分。

根據官方發布的一個技術文檔，Gemini所有的這些交互都不是實時感知到的，而是通過提示詞問出來的。比如：

圖片

視頻中顯示，似乎Gemini能直接看懂人類在玩石頭剪子布，

但其實，真實的過程是，向Gemini上傳一張手比剪刀的照片，問它看到了什么。然后用人聲把它的回復讀了出來。

而石頭剪子布的視頻，則是把三張照片依次傳給Gemini，讓它把這三張照片連在一起推理，它直接給出回答，這是在玩石頭剪子布。

所以，實際上并不是Gemini看懂了一段視頻，它只是看懂了三張圖片，并且做出了推理而已。

圖片

人類給Gemini傳了一張「剪刀」的照片，Gemini回復說：「這似乎是伸出了兩個指頭的手勢，一般來說這個手勢代表著數字2」。然后人類又傳了3張「石頭剪刀布」的手勢照片，問它這三張照片合在一起是什么意思。Gemini才說了這是「石頭剪子布」游戲

同樣，在識別行星的演示，視頻給人營造的感覺仿佛是直接問Gemini「這個順序正確嗎」，它就能回答不正確，應該是太陽、地球、土星。

圖片

但實際上，是谷歌給了Gemini一句prompt：「這個順序正確嗎？請考慮它們與太陽的距離，并且解釋你的理由」，隨后，Gemini才回答了那樣一句話。

圖片

很多網友也認為，谷歌這種有意地誤導性呈現，反而讓用戶會懷疑，到底模型的真實能力有多強。

圖片

畢竟，產品不能永遠停留在宣傳視頻里，最終都要交到用戶手上去體驗。

這個視頻最大的誤導性在于，似乎讓用戶誤以為Gemini能實時的讀取視頻信息，并且能夠通過自己的理解直接推測用戶的問題并直接回復。

而實際情況是，谷歌員工是通過讀取圖片+良好的提示詞工程才能讓Gemini生成這些回復的。

雖然說從技術原理上來看，能夠讀取圖片和能夠看懂視頻之間，并沒有技術上的鴻溝。

但是從產品實現落地的角度看，把讀取圖片約等于能實時看懂視頻，并且過于強調實時性而壓縮了交互過程中的延遲，這幾乎已經可以理解為虛假宣傳了。

而是否需要良好的提示詞工程，更是評價模型能力的關鍵問題。

谷歌的這些「后期加工」，只能說明，他們太想讓Gemini「看起來」比競品好太多了。

畢竟，起了個大早卻趕了個晚集的谷歌，在大模型上確實太需要流量了。

在YouTube描述中，谷歌也承認了該視頻被編輯為延遲，這樣就能使得模型看起來響應速度比實際更快。

Olson表示，谷歌的營銷非常巧妙，所以我們真的應該在AI炒作中更加謹慎，保持清醒的頭腦和判斷力。

圖片

谷歌，令人失望了

本來，昨天Gemini的演示一出立馬驚艷了眾人，本來是多模態理解領域的一次令人興奮的展示。

現在被扒出偽造，顯然會讓用戶對谷歌的誠信失去信心。谷歌這一出，著實得不償失。

其實本來，Gemini確實輸出了視頻中顯示的回應。

圖片

但視頻的剪輯效果，卻會讓用戶對于Gemini的交互速度、準確性和基本模式產生誤解。

石頭剪子布的demo，和實際上Gemini對于三張圖片的識別，是完全不同的交互。

前者是一種直觀的反應，表示Gemini可以即時捕捉一個抽象的想法；而后者，則是經過精心設計、充滿大量暗示的交互，雖然的確體現了Gemini的能力，但也具有不少局限性。

如果視頻一開始就明確指出，「這是研究人員測試Gemini互動的一種風格化演示」，可能會讓公眾的期待者降低一些，也就不會像如今這樣失望。

而且，視頻名叫「Hands-on with Gemini」，暗示了視頻中展示的就是和Gemini的原樣互動。然而實際上Gemini的參與程度，是摻了水分的。

視頻中也沒有明說，視頻中的模型，到底是Gemini的哪個版本。

總的來說，這段視頻半真半假，盡管包含一些真實的成分，但它根本沒有反映現實。

網友深表理解

Perplexity AI的首席執行官將網友對谷歌Gemini造假視頻，做了客觀的分析。

當前有兩種激進派的人，是這樣看待Gemini的發布：

極端看法1：「DeepMind偽造了評估和演示。Gemini很糟糕」。

極端看法2：「OpenAI 完蛋了。谷歌回來了。Bard將免費運行Gemini，因為計算芯片的利潤空間，它會擊敗 ChatGPT」。

而現實情況是，Gemini很酷，是第一個真正可以與GPT-4媲美的模型，也是谷歌真正的成就之一。尤其它僅僅是一個密集型模型（原生模型）。

這次，只能說谷歌的市場營銷手段過火了，但眾所周知DeepMind喜歡高調公關。

而谷歌視頻演示的多模態能力，實際上在一年內就能實現。

圖片

一位網友對此表示深度贊同，太多人想要給谷歌扣上「偽造」視頻的黑帽。

圖片

還有人表示完全理解炒作的行為，畢竟谷歌對微軟OpenAI的反擊晚了一步。

圖片

打敗GPT-4，靠的是「作弊」

另外，谷歌發布的這個表格，顯示出Gemini Ultra在大多數標準基準測試中擊敗了GPT-4。

圖片

可是這種比較并不公平。

GPT-4的86.4%分數是基于行業評估標準，即「5-shot」。

然而，Gemini Ultra 90%的得分是基于谷歌研究人員開發的一種基于「32個樣本的思維鏈」的方法。

對于同一個問題，Gemini Ultra會生成32個答案以及這些答案的推理。然后，模型會選擇最常見的答案作為最終答案。

或許就是這種新方法，讓Gemini能夠更好地「推理」。

但是，在使用行業標準5-shot MMLU的情況下，GPT-4的86.4%要高于Gemini Ultra的83.7%。

HuggingFace技術主管Philipp Schmid特意從Gemini的技術報告中扒了數據，重做了一張新圖——如果使用5-shot，Gemini的得分實為83.7%，而非90.0%。

圖片

而且，Gemini Ultra對于GPT-4僅有幾個百分點的優勢，但是GPT-4，是OpenAI差不多一年前的產品。

外媒The Information發布了題為《Gemini可能并不像谷歌說的那么好》的文章，表示谷歌的員工一定是壓力太大了，因為他們用了一些額外的措施，讓Gemini看起來比競爭對手更出色。

圖片

如果真如谷歌所說，Gemini Ultra是在明年一月發布，那它可能SOTA不了多久。

要知道，OpenAI的GPT-5，應該已經在路上了。

圖片

似乎是內部知情人士艾特了Sam Altman，問他還要把寶貝捂到什么時候？還不趕快拿出來？

網友試用體驗

我讓Gemini畫了一幅一個人開著電卡車在樹林里露營的圖，它生成的樣子如下。

圖片

還是需要稍加修改，有待進步。

圖片

這位網友發出了自己測試基于Gemini Pro的Bard，對于很多事實類問題還是有錯誤。

他問了兩遍Bard奧斯卡2023年的獲獎情況，Bard給了兩個不同的錯誤獲獎名單。

圖片

另一個網友又問了一個和翻譯有關的問題，結果也不太對。

圖片

似乎它對語言中單詞字數非常不敏感，經常會數錯。

圖片

而對于谷歌重點宣傳的代碼能力，似乎Bard的表現也不夠好，難道原因是在Stackoverflow上沒有對應的答案？

圖片

還有人也模仿谷歌的行為，讓ChatGPT從MP4中提取視頻幀，然后解釋視頻......

圖片

ChatGPT自主從從視頻中提取幀，然后網友上傳6張對應圖片，讓ChatGPT給出具體的解釋。

圖片

圖片

圖片

圖片

Gemini時代來臨了

作為谷歌DeepMind的領導人，Demis Hassabis也是興奮不已，并表示「Gemini的時代來臨了」。

圖片

最新Wired的采訪中，Hassabis直言道，谷歌今天宣布的人工智能模型Gemini為人工智能開辟了一條未被實踐的道路，可能會帶來重大的新突破。

「作為一名神經科學家和計算機科學家，多年來我一直想嘗試創造一種新一代的人工智能模型。而這些模型的靈感來自我們所有感官互動和理解世界的方式」。

「Gemini是向這種『多模態』模型邁出的一大步」。

圖片

他繼續道，「到目前為止，大多數模型都是通過訓練單獨的模塊，然后將其拼接在一起，來實現多模態能力」。

「對于某些任務來說，這是可以的，但是在多模態空間中，無法進行深度復雜推理」。

這似乎是在暗指OpenAI的技術。

我們都知道，ChatGPT的多模態能力，是由GPT-4、DALL·E 3、Whisper多個模型組合而實現的。

今年5月的谷歌開發者大會I/O上，劈柴首次官宣，谷歌正在訓練一個新的、更強大的PaLM繼任者，名為Gemini。

圖片

Gemini的命名也有深層的寓意，是為了紀念谷歌大腦和DeepMind兩個團隊實驗室的合體，并向美國宇航局Gemini致敬。

7個月的時間，關于Gemini的各種爆料也是層出不窮。

而現在，谷歌以驚人的速度研發出Gemini，著實在年底之前來了一次重磅反擊。

Hassabis說，新模型能夠處理不同形式的數據，包括文本之外的數據，這是該項目從一開始就愿景的關鍵部分。

許多人工智能研究人員認為，能夠利用不同格式的數據是自然智能的一項關鍵能力，而這正是機器所缺乏的。

ChatGPT等AI大模型因從強大的互聯網數據中學習，獲得了靈活且強大的泛化能力。

但是，盡管ChatGPT和類似的聊天機器人可以用同樣的技巧，來討論或回答有關物理世界的問題，但這種表面上的理解很快就會瓦解。

圖片

許多人工智能專家認為，要使機器智能取得重大進步，就需要AI系統在物理現實中賦予身體，即「具身」。

Hassabis表示，谷歌DeepMind已經在研究，如何將Gemini與機器人技術相結合，與世界進行物理互動。

「要實現真正的多模態，你需要包括觸覺和觸覺反饋。將這些基礎型模型應用于機器人技術有很多希望，我們正在大力探索」。

目前，谷歌已經朝著這個方向邁出了一小步。

5月，該公司宣布了一款名為Gato的AI模型，能夠學習執行各種任務，包括玩Atari游戲、為圖像添加字幕，以及使用機械臂堆疊積木。

今年7月，谷歌RT-2機器人模型，便是通過語言模型來幫助機器人理解和執行動作。

為了讓AI智能體更可靠，就需要為其提供動力的算法必須更加智能。

前段時間，OpenAI曾被曝出開發一個名為「Q*」的項目，網友紛紛猜測可能用到了「強化學習」，這是AlphaGo的核心技術。

不過，Hassabis稱，谷歌目前正在按照類似的思路進行研究。

AlphaGo的進步有望幫助改善未來模型的規劃和推理，就像今天推出的模型一樣。我們正在努力進行一些有趣的創新，以將其帶入Gemini的未來版本。

「明年，你將會看Gemini超強進化」。

看來，正如網友所說，我們離GPT-5降臨的那一天也不遠了。

圖片

現在，谷歌有Gemini，微軟有GPT，Meta有LLaMA，Anthropic有Claude，這是否意味著蘋果iPhone時代的終結？

圖片

參考資料：

https://twitter.com/parmy/status/1732811357068615969

https://techcrunch.com/2023/12/07/googles-best-gemini-demo-was-faked/

https://developers.googleblog.com/2023/12/how-its-made-gemini-multimodal-prompting.html