Gemma：我們最先進的開放模型

發布于 2024-3-28 09:51

瀏覽

0收藏

在 Google ，我們致力于??讓 AI 助力每個人??。長期以來，我們對開放社區的創新貢獻了許多成果，如 Transformers、TensorFlow、BERT、T5、JAX、AlphaFold 和 AlphaCode。今天，我們很高興地介紹 Google 的新一代開放模型，以協助開發者和研究人員負責任地構建 AI。

開放模型 Gemma

Gemma 是先進的輕量級開放模型系列，采用了與創建 Gemini 模型相同的研究和技術。受到 Gemini 的啟發，Google DeepMind 和 Google 其他團隊合作開發了 Gemma，并用拉丁語中意為“寶石”的 gemma 為其命名。在發布模型權重的同時，我們還推出了一系列工具，旨在支持開發者創新，促進合作，并指導如何負責任地使用 Gemma 模型。

從今天起，Gemma 在全球范圍內開放使用。以下是有關該模型的關鍵細節：

我們將發布兩種權重規模的模型：Gemma 2B 和 Gemma 7B。每種規模都有預訓練和指令微調版本。
新的 Responsible Generative AI Toolkit 為使用 Gemma 創建更安全的 AI 應用程序提供指導和必備工具。
我們通過原生 Keras 3.0 為所有主要框架（JAX、PyTorch 和 TensorFlow）提供推理和監督微調（SFT）的工具鏈。
上手即用 Colab 和 Kaggle notebooks，以及與 Hugging Face、MaxText 和 NVIDIA NeMo 等受歡迎的工具集成，讓開始使用 Gemma 變得簡單容易。
經過預訓練和指令微調的 Gemma 模型可以在您的筆記本電腦、工作站或 Google Cloud 上運行，并可輕松部署在 Vertex AI 和 Google Kubernetes Engine（GKE）上。
基于多個 AI 硬件平臺進行優化，確保業界領先的性能表現，其中包括 NVIDIA GPUs 和 Google Cloud TPUs。
使用條款允許所有組織（無論規模大小）負責任地進行商用和分發。

同等規模最領先的性能

Gemma 模型與我們規模最大、能力最強的 AI 模型 Gemini 共享技術和基礎架構。這使得 Gemma 2B 和 7B 與其他開放模型相比，展現出同等規模最先進的性能。同時，Gemma 可以直接在開發者的筆記本電腦或臺式機上運行。值得注意的是，Gemma 在關鍵基準測試集上大大超過了更大的模型，同時還嚴格遵守了我們對安全和負責任輸出的標準。有關性能、數據集對比和建模方法的詳細信息，請參見技術報告。

Gemma：我們最先進的開放模型-AI.x社區

負責任的設計

Gemma 在設計時將我們的 AI 原則放在首位。為了使 Gemma 預訓練模型安全可靠，我們使用自動技術，從訓練集中過濾掉特定的個人信息及其他敏感數據。此外，我們進行了大量的微調和人類反饋強化學習（RLHF），使我們的指令微調模型與負責任的行為保持一致。為了解并降低 Gemma 模型帶來的風險，我們進行了強有力的評估，包括手工紅隊測試、自動對抗性測試，以及對危險活動的模型能力評估。我們在 Model Card 中闡述了這些評估。

我們與 Gemma 一道發布了新的 Responsible Generative AI Toolkit，幫助開發者和研究人員優先構建安全和負責任的 AI 應用。這些工具包括：

安全分類：我們提供了一種新的方法，可利用最少的樣品來構建穩定的安全分類器。
調試工具：模型式調式工具幫助你了解 Gemma 的行為，并解決潛在的問題。
應用指南：你可以根據 Google 在開發和部署大型語言模型方面的經驗，獲取模型構建者的最佳實踐。

跨框架、工具和硬件的優化

您可以基于自己的數據微調 Gemma 模型以適應特定應用需求，例如摘要或檢索增強生成 (RAG)。Gemma 可支持多種工具和系統：

多框架工具：Gemma 提供 Keras 3.0、原生 PyTorch、JAX 和 Hugging Face Transformers 多個框架的參考實現，您可以選擇熟悉的框架進行推理和微調。
跨設備兼容：Gemma 模型可以在筆記本電腦、臺式機、物聯網、移動設備和云端等多個主流設備類型上運行，支持廣泛的 AI 功能。
前沿的硬件平臺： 我們與 NVIDIA 合作，使用 NVIDIA GPU 來優化 Gemma 模型，確保業界領先的性能與前沿技術的整合應用。
基于 Google Cloud 的優化：Vertex AI 提供廣泛的 MLOps 工具集，其中包含一系列微調選項和內置推理優化的一鍵部署功能。您可以使用完全托管的 Vertex AI 工具或自行管理的 GKE 來進行高級定制，以經濟高效的方式自行選擇部署在 GPU、TPU 或 CPU 基礎設施上。

免費的積分來進行研究和開發

Gemma 為開放社區構建，旨在推動開發者和研究人員的 AI 創新。您可以通過 Kaggle 的免費訪問權限、Colab notebooks 免費層、以及 Google Cloud 新用戶可獲得的 300 美元積分立即開始使用 Gemma。研究人員還可以申請高達 50 萬美元的 Google Cloud 積分以加速他們的項目。