整理 | Echo Tang
出品丨AI 科技大本營（ID：rgznai100）
Google 擠牙膏式的創新真是令人愛恨交織。
早在一個多月前的 Google I/O 上，Google 便官宣將會在未來幾周內推出開源模型 Gemma 的第二代 Gemma 2，結果，萬萬沒想到，深夜更新，弄得筆者垂睡之中驚坐起。
Google DeepMind 研究 VP Clement Farabet、主管 Tris Warkentin 聯袂發文，宣告 Gemma 2 正式向所有研究人員和開發者開放，接下來，就讓我們一起來看 Gemma 2 究竟帶來了什麽。
博文連結：
https://blog.google/technology/developers/google-gemma-2/
以下內容由 GPT 仔細研究之後輸出：
Gemma 2 提供業界領先的效能，在各種硬體上執行速度驚人，並且能夠輕松整合其他 AI 工具。
人工智慧具有解決一些人類最迫切問題的潛力——但這需要每個人都能夠使用這些構建工具。因此，我們在今年早些時候推出了 Gemma 系列——一系列基於創造 Gemini 模型相同的研究和技術的輕量級、最先進的開放模型。我們繼續擴充套件 Gemma 系列，推出了 CodeGemma、RecurrentGemma 和 PaliGemma——每個模型都為不同的 AI 任務提供獨特功能，並透過與 Hugging Face、NVIDIA 和 Ollama 等合作夥伴的整合輕鬆存取。
現在我們正式向全球研究人員和開發者推出 Gemma 2。Gemma 2 提供 90 億（9B）和 270 億（27B）參數規模，效能更高，推理效率更優，並內建了顯著的安全進步。特別是在 270 億參數規模下，它提供了競爭性的替代方案，與體積是其兩倍多的模型相比肩，並且能在單個 NVIDIA H100 Tensor Core GPU 或 TPU 主機上實作，大幅降低部署成本。
為效率和效能設立新的開放模型標準
我們在重新設計的架構基礎上構建了 Gemma 2，旨在實作卓越效能和高效推理。以下是其幾個顯著特點：
卓越效能： 在 270 億參數規模下，Gemma 2 為其規模類別提供了最佳效能，甚至提供了與體量是其兩倍的模型競爭的選擇。90 億參數的 Gemma 2 模型同樣表現出色，超越了 Llama 3 8B 和其他同規模的開放模型。有關詳細的效能分析，請查閱技術報告。
無與倫比的效率和成本節約： 270 億參數的 Gemma 2 模型旨在在單個 Google Cloud TPU 主機、NVIDIA A100 80GB Tensor Core GPU 或 NVIDIA H100 Tensor Core GPU 上以全精度高效執行推理，顯著降低成本同時保持高效能。這使得 AI 部署更加易於存取且經濟實惠。
跨硬體的極速推理： Gemma 2 最佳化以在從強大的遊戲筆記本和高端桌面到基於雲的配置的各種硬體上以驚人的速度執行。在 Google AI Studio 中體驗 Gemma 2 的全精度效能，在您的 CPU 上透過 Gemma.cpp 解鎖本地效能，或者在家用電腦上透過 Hugging Face Transformers 使用 NVIDIA RTX 或 GeForce RTX 試用。
一張展示 Gemma 2 效能基準的圖表
為開發者和研究人員而建
Gemma 2 不僅功能更強，而且其設計更易於融入您的工作流程：
開放且易於存取： 如同最初的 Gemma 模型，Gemma 2 也在我們商業友好的 Gemma 授權下提供，使開發者和研究人員能夠分享並商業化他們的創新。
廣泛的框架相容性： 其與主要 AI 框架的相容性，如 Hugging Face Transformers、JAX、PyTorch 和 TensorFlow 透過原生 Keras 3.0、vLLM、Gemma.cpp、Llama.cpp 和 Ollama，您可以輕松使用 Gemma 2 與您偏好的工具和工作流程。此外，Gemma 經過 NVIDIA TensorRT-LLM 最佳化，可在 NVIDIA 加速基礎設施上執行，或作為 NVIDIA NIM 推理微服務執行。您現在可以透過 Keras 和 Hugging Face 進行微調。我們還在積極開發其他參數效率高的微調選項。
輕松部署： 從下月開始，Google Cloud 客戶將能夠輕松部署和管理 Gemma 2 在 Vertex AI 上。
探索新的 Gemma Cookbook，一系列實用範例和食譜，將指導您構建自己的應用程式並針對特定任務微調 Gemma 2 模型。了解如何輕松使用 Gemma 與您選擇的工具，包括常見任務如檢索增強生成。
負責任的 AI 開發
我們致力於為開發者和研究人員提供構建和部署 AI 所需的資源，包括我們的負責任的生成性 AI 工具包。最近開源的 LLM Comparator 幫助開發者和研究人員深入評估語言模型。從今天開始，您可以使用配套的 Python 庫進行模型和數據的比較評估，並在套用中視覺化結果。此外，我們還在積極開源我們的文本浮水印技術，SynthID，用於 Gemma 模型。
在培訓 Gemma 2 時，我們遵循了嚴格的內部安全程式，篩選了預訓練數據，並對一系列綜合指標進行了嚴格的測試和評估，以辨識和緩解潛在的偏見和風險。我們在一大批公共基準上釋出了我們的結果，這些基準涉及安全和代表性損害。
一張展示 Gemma 2 安全評估的圖表
結語
Gemma 2 現在在 Google AI Studio 中可用，因此您可以在沒有硬體要求的情況下測試其 270 億的全效能功能。 您也可以從 Kaggle 和 Hugging Face Models 下載 Gemma 2 的模型權重，Vertex AI Model Garden 即將推出。
為了方便研究和開發，Gemma 2 也透過 Kaggle 或透過 Colab 筆記本的免費層提供免費使用。首次使用 Google Cloud 的客戶可能有資格獲得 300 美元的信用額度。學術研究人員可以申請 Gemma 2 學術研究計劃，以獲得 Google Cloud 信用額度，加速他們使用 Gemma 2 的研究。申請現已開放，將持續到 8 月 9 日。
由 CSDN 和 Boolan 聯合主辦的「2024 全球軟體研發技術大會（SDCon）」將於 7 月 4 - 5 日在北京威斯汀酒店舉行。
由世界著名軟體架構大師、雲原生和微服務領域技術先驅 Chris Richardson 和 MIT 電腦與 AI 實驗室(CSAIL)副主任，ACM Fellow Daniel Jackson 領銜，BAT、微軟、字節跳動、小米等技術專家將齊聚一堂，共同探討軟體開發的最前沿趨勢與技術實踐。
大會官網： http://sdcon.com.cn/ （可點選 閱讀原文 直達）
