谷歌發布Veo：文生超1分鐘、1080P視頻，媲美Sora
5月15日，谷歌召開“ I/O 2024”大會，并宣布了100多種產品和大模型。其中，有兩款產品令人印象深刻，一個是支持跨文本、視頻、音頻的多模態AI Agent—Project Astra；另外一個便是視頻模型Veo。
據悉，Veo支持文本生成超過1分鐘的1080P超高清視頻，在文本語義還原、視頻動作一致性方面、運鏡、幀與幀之間的連貫性、場景切換、光影效果等，可媲美OpenAI的Sora。
不過，Sora發布至今已經3個月了一直處于內測階段，公測遙遙無期。而谷歌已經將Veo模型整合在文生視頻產品Video-Fx中支持申請試用，并且會向開發者開放API。
文章末尾，「AIGC開放社區」還整理了本次I/O大會的所有重要內容，方便大家了解谷歌最新的技術趨勢。
申請地址：??https://aitestkitchen.withgoogle.com/zh/tools/video-fx??
Veo生成視頻欣賞
由于平臺壓縮的原因，視頻看起來可能有點糊，實際效果是高清的。通過文本描述Veo生成的一個1分23秒的超長視頻，提示詞：一個快速穿梭于繁華的反烏托邦城市中，明亮的霓虹燈、飛行汽車、薄霧、夜晚、鏡頭眩光和體積光線的鏡頭。
通過未來主義的城市肆虐快速追蹤鏡頭，明亮的霓虹燈標，天空中的星艦，夜晚。一輛汽車的霓虹全息圖以光速行駛，電影般的驚人細節，體積光。汽車離開隧道，回到真實世界的中國香港城市。
在燒烤架上，雞肉和青椒串烤的特寫鏡頭，火焰在旁燃燒。焦距淺，輕煙裊裊，色彩鮮艷。
許多斑點水母在水下蠕動。它們的身體透明，在深海中發光。
一名孤獨的牛仔騎著馬穿越美麗日落的開闊平原，柔和的光線，溫暖的色彩。
一艘宇宙飛船在宇宙的浩瀚中飛馳，星星在其旁劃過，高速飛行，科幻感十足。
一只金毛尋回犬在蜿蜒的山間小徑上行走，它興奮地搖著尾巴，探索著荒野的景色和氣味。
此外，谷歌還把Veo的生成視頻的界面通過Video-Fx展示了出來。使用方法沒啥特別的，就是在文本框輸入提示詞，然后點擊生成即可。
一次會生成4個視頻，這對服務器的算力有著非常高的要求，不得不說谷歌為了拼視頻模型也是下了血本啦。
這也是Sora遲遲沒有全面公測的主要原因之一，還沒有準備好強大的算力矩陣為用戶提供服務。
值得一提的是，Veo有一個“Storyboard”模式，支持用戶為生成的視頻一鍵添加背景音樂。
Veo模型架構簡單介紹
根據谷歌的介紹，Veo更像是一個模型大合集，融合了GQN、DVD-GAN、Imagen-Video、Phenaki、WALT、VideoPoet、Lumiere、Transformer和Gemini等，谷歌很多知名的技術概念和現有的大模型。
例如，Phenaki是谷歌很早之前便推出的文生視頻模型，采用了一個雙向掩碼轉換器架構。在視頻幀之間的切換、一致性、關聯性方面非常優秀。
WALT則是深度學習領域的一種視頻微調技術，可關注模型內部的激活層，通過權重調整來改進模型性能。
Gemini是谷歌最新發布的性能強、消耗低的大模型，有很多種類型可以與OpenAI的GPT系列媲美。
所以，從這個技術合集就不難看出，谷歌是對Veo下了心血的誓要與OpenAI的Sora一較高下。
谷歌2024年I/O大會，重要事件回顧
其實今年谷歌在I/O大會上發布的內容非常非常多，尤其是生成式AI領域成為重頭戲。
但由于發布的產品實在太多、太雜，這里「AIGC開放社區」就為大家整理了所有重要事件的簡報，方便理解最新技術趨勢。
發布了Gemini 1.5 Flash：一個更輕量的大模型，可高效地提供規模化服務。這也是在API 中提供的最快的 Gemini系列模型。
增強Gemini1.5 Pro性能：用戶版提供100萬tokens上下文窗口，開發者版提供200萬tokens上下文窗口。
發布最強TPU-Trillium：這是谷歌發布的第六代AI處理器，與TPU v5e相比，Trillium TPU每個芯片的峰值計算性能提高了4.7倍，但能源消耗卻降低了67%。
發布最新文生圖模型Imagen 3：生成的圖像質量更好、文本語義理解更優秀，目前已經整合在ImageFX中，支持申請試用。
發布音樂模型Music AI Sandbox：通過AI生成超逼真的歌曲，包括流行、搖滾、抒情等。
Gemini的高級訂閱用戶很快就可以創建定制版本Gem，只需描述你想要 Gem 執行的操作以及希望它如何響應，Gemini 將根據這些說明創建出符合特定需求的 Gem。
谷歌宣布將Gemini系列模型融合到谷歌搜索中，提供規劃、推理等多模態功能。
Gemini 1.5 Pro現在可以通過 Workspace Labs 在 Gmail、Docs、Drive、Slides 和 Sheets的側邊欄中使用，下個月會為 Workspace 客戶和 Google One AI 高級訂閱用戶提供服務。
Google Photos中新增“詢問照片”功能，使用戶能查找特定記憶或回憶圖庫中包含的信息變得更加方便。該功能由Gemini模型提供服務，并將在未來幾個月內推出。
今年晚些時候，Gemini Nano模型會成為Android內置的基礎模型，除了文本生成，還支持語音、視頻等多模態推理。
谷歌發布了PaliGemma，這是第一個面向視覺-語言的開源模型，針對視覺問答和圖像字幕進行了優化。
谷歌預覽了Gemma 2，采用了全新架構有270億參數，性能更強可在單個 TPU 主機上運行。
Gemini模型現已在 Android Studio、IDX、Firebase、Colab、VSCode、Cloud和Intellj中可用，可幫助開發人員提高生產力。
從Chrome126開始，Gemini Nano 模型將內置到Chrome桌面客戶端中。
推出LearnLM，這是基于Gemini模型并經過精細微調的用于學習的新模型。LearnLM 已經為谷歌的搜索、YouTube 和 Google Classroom等提供技術支持。
谷歌的SynthID文本水印技術，將在未來幾個月內開源。
從上面重要事件不難看出，Gemini系列大模型已經成為谷歌產品矩陣中重要的基礎技術之一，這充分說明生成式AI時代已經降臨。
只有會用AI的人，才不會被這個時代淘汰，一起加油啦。
本文轉自 AIGC開放社區 ，作者：AIGC開放社區
