谷歌向微軟英特爾全面宣戰！首款自研Arm CPU，最強大模型公測，AI視頻對壘Sora
昨天的谷歌Next大會可是太精彩了，谷歌一連放出不少炸彈。
- 升級「視頻版」Imagen 2.0，下場AI視頻模型大混戰
- 發布時被Sora光環掩蓋的Gemini 1.5 Pro，正式開放
- 首款Arm架構CPU發布，全面對壘微軟/亞馬遜/英偉達/英特爾
此外，谷歌的AI超算平臺也進行了一系列重大升級——最強TPU v5p上線、升級軟件存儲，以及更靈活的消費模式，都讓谷歌云在AI領域的競爭力進一步提升。
連放大招的谷歌，必不會在這場AI大戰中退讓。
圖片
從OpenAI跳槽的研究員Logan Kilpatrick，也在第一時間轉發了Gemini 1.5 Pro的消息。看得出來，他已經是一名真真正正的谷歌員工了
在短短兩個月內，谷歌一鍵將多種前沿模型引入Vertex AI，包括自家的Gemini 1.0 Pro、輕量級開源模型Gemma，以及Anthropic的Claude 3。
Gemini 1.5 Pro，人人可用了！
傳說中的谷歌最強殺器Gemini 1.5 Pro，已經在Vertex AI上開放公測了！
圖片
開發者們終于可以親自體驗到，前所未有的最長上下文窗口是什么感覺。
Gemini 1.5 Pro的100萬token，比Claude 3中最大的200K上下文，直接高出了五倍！而GPT-4 Turbo，上下文也只有128K。
圖片
當然，超長上下文在無縫處理輸入信息方面，仍然有一定的局限性。
但無論如何，它讓對大量數據進行本機多模態推理成為可能。從此，多海量的數據，都可以進行全面、多角度的分析。
自然而然地，我們可以正式用Gemini 1.5 Pro開發新的用例了。比如AI驅動的客戶服務智能體和在線學術導師，分析復雜的金融文件，發現文檔中的遺漏，查詢整個代碼庫，或者自然語言數據集。
現在，已經有無數企業用Gemini 1.5 Pro真實地改變了自己的工作流。
比如，軟件供應商思愛普用它來為客戶提供與業務相關的AI解決方案；日本廣播公司TBS用它實現了大型媒體檔案的自動元數據標注，極大提高了資料搜索的效率；初創公司Replit，則用它更高效、更快、更準確地生成、解釋和轉換代碼。
加入音頻處理能力
不僅如此，Gemini 1.5 Pro現在還增加了音頻功能。
它能處理音頻流，包括語音和視頻中的音頻。
這直接就無縫打破了文本、圖像、音頻和視頻的邊界，一鍵開啟多模態文件之間的無縫分析。
在財報電話會議中，一個模型就能對多種媒介進行轉錄、搜索、分析、提問了。
圖片
Imagen 2.0能生視頻了：4秒24幀640p
并且，這次谷歌也下場開卷AI模型了！
AI生圖工具Imagen，現在可以生成視頻了。
只用文本提示，Imagen就能創作出實時的動態圖像，幀率為每秒24幀，分辨率達到360x640像素，持續時間為4秒。
圖片
谷歌表示，Imagen在處理自然景觀、食物圖像和動物等主題時，表現尤為出色。
它不僅能夠創造出一系列多樣的攝影角度和動作，還能確保整個序列的視覺一致性。
同時，這些動態圖像也配備了安全過濾和數字水印技術。
圖像編輯
并且，谷歌對Imagen 2.0也升級了圖像編輯功能，增加了圖像修復、擴展、數字水印功能。
想把圖中這個男人去掉？一鍵圈出，他就沒了！并且模型還自動補全了山上的背景。
圖片
想讓遠處的山高一點？Imagen 2.0也能輕松做到。
圖片
另外，它還可以幫我們擴大圖片邊緣，獲得更廣闊的視角。
圖片
而數字水印功能，由Google DeepMind的SynthID強力驅動。
這樣，用戶為就可以圖片和視頻生成隱形水印，并且驗證它們是否由Imagen所生成。
全新代碼模型CodeGemma發布，核心團隊華人占6成
最新發布輕量級代碼生成模型CodeGemma，采用的是與Gemma系列相同的架構，并進一步在超過5000億個代碼Token上進行了訓練。
目前， CodeGemma已經全系加入Vertex AI。
圖片
論文地址：https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf
圖片
具體來說，CodeGemma共有三個模型檢查點（Checkpoint）：
CodeGemma 7B的預訓練版本（PT）和指令微調版本（IT）在理解自然語言方面表現出色，具有出眾的數學推理能力，并且在代碼生成能力上與其他開源模型不相上下。
CodeGemma 2B則是一個SOTA的代碼補全模型，可以進行快速的代碼填充和開放式生成。
圖片
預訓練數據
CodeGemma的訓練數據包括了來自網絡文檔、數學和代碼的5000億個Token（主要是英文）。
2B規模的模型完全使用代碼進行訓練，而7B規模的模型則采用了80%編程代碼外加20%自然語言的方式。
為了確保數據的質量，谷歌對數據集進行了去重和過濾，移除了可能影響評估的代碼樣本和一些個人或敏感信息。
此外，谷歌還對CodeGemma模型的預訓練采用了一種改進的中間填空（Fill-in-the-Middle, FIM）方法，以此來提升了模型的訓練效果。
具體可以分為兩種模式：PSM（前綴-后綴-中間）和SPM（后綴-前綴-中間）。
圖片
圖片
指令微調
通過讓模型接觸各種數學問題，可以提升它在邏輯推理和解決問題方面的能力，這對編寫代碼來說是非常重要的。
為此，谷歌選用了多個主流的數學數據集進行監督微調，包括：MATH、GSM8k、MathQA，以及合成數學數據。
在代碼方面，谷歌采用了合成代碼指令的方法來創建數據集，用于后續的監督微調（SFT）和基于人類反饋的強化學習（RLHF）之中。
為了確保生成的代碼指令數據既有用又準確，谷歌采取了以下方法：
- 示例生成：根據OSS-Instruct的方法，制作一系列獨立的問題與答案對；
- 后期過濾：利用大語言模型來篩選這些問題與答案對，評估它們的實用性和準確性。
代碼補全
如表2所示，CodeGemma 2B在代碼補全場景下展現出了卓越的性能，尤其是在低延遲的表現上。
其中，推理速度更是比不少模型快了有2倍之多。
圖片
Python
HumanEval和Mostly Basic Python Problems的評估結果如表3所示。
與Gemma基礎模型相比，CodeGemma在編程領域的任務上表現明顯更強。
圖片
多種編程語言
BabelCode通常用來評估模型在多種編程語言中的代碼生成性能，結果如表4所示。
圖片
語言處理能力
圖3展示了多個領域的性能評估結果，包括問答、自然語言處理以及數學推理。
可以看到，CodeGemma同樣有著Gemma基礎模型的自然語言處理能力，其PT和IT版本在性能上均優于Mistral 7B和Llama2 13B——分別領先了7.2%和19.1%。
圖片
進一步地，如表5所示，CodeGemma在數學推理方面，相比同等規模的模型有著更出色的表現。
圖片
推理建議
如圖4所示，在進行代碼補全任務時，比如函數補全、注釋文檔字符串生成或者導入模塊建議，應當按照一定的格式來設計輸入提示。
圖片
官宣自研Arm架構CPU處理器Axion
圖片
此次Next大會上，谷歌還正式宣布，將自研首款基于Arm的CPU。
據稱這款CPU處理器Axion，將提供比英特爾CPU更好的性能和能源的效率，其中性能提高50%，能源效率提高60%。
據悉，比起目前基于Arm的最快通用芯片，Axion的性能還要高出30%。
憑著這個新武器，谷歌也在AI軍備競賽中，正式向微軟和亞馬遜宣戰！
圖片
新CPU Axion，顯然是谷歌跟隨亞馬遜AWS和微軟Azure的動作——它也想自研處理器了。
Axion將幫助谷歌提高通用工作負載的性能，比如開源數據庫、Web和應用程序服務器、內存緩存、數據分析引擎、媒體處理和AI訓練。
由此，谷歌在開發新的計算資源方面，又向前邁進了一步。在今年晚些時候，Axion就可用于云服務了。
AI軍備競賽加快，CPU重要性凸顯
對于AI軍備競賽來說，像Axion這樣的CPU至關重要，因為它能提升訓練AI模型所需的算力。
要訓練復雜的AI模型，就需要處理大型數據集，而CPU有助于更快地運行這些數據集。
要說此舉的最大的好處，那無疑就是——省錢！
眾所周知，購買AI芯片的成本驚人，英偉達的Backwell芯片，預計售價在3萬美元到4萬美元之間。
圖片
現在，Axion芯片已經在為YouTube 廣告、Google Earth引擎提供加持了。
而且，很快就可以在谷歌計算引擎、谷歌Kubernetes引擎、Dataproc、Dataflow、Cloud Batch等云服務中使用。
不僅如此，原本在使用Arm的客戶，無需重新架構或者重寫應用程序就可以輕松地遷移到Axion上來。
TPU v5p上線，與英偉達合作加速AI開發
在此次Google Cloud Next 2024年會上，谷歌宣布：對自家超算平臺進行大規模升級！
升級列表中的第一位，就是谷歌云的張量處理單元TPU v5p了。如今，該定制芯片全面向云客戶開放。
圖片
谷歌的TPU，一直被用作英偉達GPU的替代品，用于AI加速任務。
作為下一代加速器，TPU v5p專門用于訓練一些最大、最苛刻的生成式AI模型。其中，單個TPU v5p pod包含8,960個芯片，是TPU v4 pod芯片數量的兩倍之多。
另外，谷歌云還將和英偉達合作加速AI開發——推出配備H100的全新A3 Mega VM虛擬機，單芯片搭載高達800億個晶體管。
而且谷歌云還會將英偉達最新核彈Blackwell整合進產品中，增強對高性能計算和AI工作負載的支持，尤其是以B200和GB200提供支持的虛擬機形式。
圖片
其中，B200專為「最苛刻的AI、數據分析和HPC工作負載而設計」。
而配備液冷的GB200，將為萬億參數模型的實時LLM推理和大規模訓練提供算力。
雖然現在萬億參數的模型還不多（少量幾個選手是SambaNova和谷歌的Switch Transformer），但英偉達和Cerebras都在沖萬億參數模型硬件了。
顯然，他們已經預見到，AI模型的規模還會迅速擴大。
軟件
在軟件方面，谷歌云推出了JetStream，這是一款針對LLM的吞吐量和內存優化了的推理引擎。
這個新工具可以提高開源模型的單位美元性能，并與JAX和PyTorch/XLA框架兼容，從而降本增效。
存儲大戰
此外，谷歌的存儲解決方案也在不斷升級——不僅加速了AI訓練和微調，優化了GPU和TPU的使用，還提高了能效和成本效益。
此次，谷歌推出的Hyperdisk ML，顯著縮短了模型加載時間，提高了吞吐量，并對AI推理和服務工作負載進行了優化。
不僅支持每個存儲卷承載2,500個實例，而且還提供了高達1.2TiB/s的數據吞吐量，性能直接超越微軟和AWS。
已發布的Cloud Storage FUSE，可將基礎模型的訓練吞吐量提高2.9倍，性能提高2.2倍。
高性能并行文件系統Parallelstore可將訓練速度提高到3.9倍，并將訓練吞吐量提高到3.7倍。
而專為AI模型量身定制的Filestore系統，允許在集群中的所有GPU和TPU之間同時訪問數據，將訓練時間縮短56%。
總之，此次谷歌超算的大規模更新表明，谷歌在努力為客戶帶來實際的商業利益，創建無縫集成、高效可擴展的AI訓練和推理環境。
參考資料：
https://storage.googleapis.com/deepmind-media/gemma/codegemma_report.pdf
https://www.businessinsider.com/google-ramped-up-ai-competition-against-microsoft-amazon-2024-4
https://www.theverge.com/2024/4/9/24125074/google-axion-arm-cpu-ai-chips-cloud-server-data-center
https://blogs.nvidia.com/blog/nvidia-google-cloud-ai-development/
https://venturebeat.com/ai/google-upgrades-its-ai-hypercomputer-for-enterprise-use-at-cloud-next/
