整理 | 王軼群
出品丨AI 科技大本營（ID：rgznai100）
今天早上，馬斯克旗下的xAI團隊官宣Grok-1.5即將釋出。 據介紹，Grok-1.5具有最佳化的高級推理能力和128K長上下文處理能力。
在兩周前釋出Grok-1 的模型權重和網路架構，xAI展示了該團隊截至2023年11月所取得的進展。從那時起，該團隊在最新模型Grok-1.5中提高了推理和解決問題的能力。
本周內， ，馬斯克後腳默默回擊，但並沒有宣布Grok-1.5是否開源。
xAI團隊官方介紹道，Grok-1.5能夠進行長上下文理解和高級推理，Grok-1.5將在未來幾天內向其早期測試人員和X平台上的現有Grok使用者提供。該團隊期待收到使用者的反饋來幫助改進 Grok。隨著Grok-1.5的逐步推廣，xAI團隊也會在未來幾天推出一些新功能。
能力與推理
Grok-1.5最顯著的改進之一是其在編碼和數學相關任務中的效能。在其測試中，Grok-1.5在 MATH水平上取得了50.6%的成績，在GSM8K水平上取得了90%的成績，這兩個數學水平涵蓋了廣泛的小學到高中的競賽問題。此外，它在評估程式碼生成和解決問題能力的HumanEval水平測試中得分為74.1%。
（註：GPT-4的成績取自2023年3月版本；在MATH和GSM8K，提供的是maj@1的結果；對於 HumanEval，報告的是pass@1的成績。）
長上下文理解
Grok-1.5中的一個新功能是能夠在其上下文視窗內處理多128K的長上下文。這使得 Grok的上下文長度記憶體容量增加到之前16倍，從而能夠利用更長文件中的資訊。
此 外，該模型可以處理更長、更復雜的提示，同時在上下文視窗擴充套件時仍然保持其指令跟蹤能力。 在NIAH評估中，Grok-1.5展示了強大的檢索能力，可以在長度高達128K的上下文中嵌入文本來實作檢索結果。
Grok-1.5基礎設施
Grok-1.5構建在基於JAX、Rust和Kubernetes的自訂分布式訓練框架之上。該培訓堆疊使xAI團隊能夠以最小的努力構建想法原型並大規模培訓新架構。在大型計算集群上訓練LLM的主要挑戰是，最大限度地提高訓練作業的可靠性和正常執行時間。該團隊的自訂訓練協調器可確保自動檢測到有問題的節點並將其從訓練作業中剔除。此外，該團隊還最佳化了檢查點、數據載入和訓練作業重新啟動，以最大限度地減少發生故障時的停機時間。
相關連結： https://x.ai/blog/grok-1.5
4 月 25 ~ 26 日，由 CSDN 和高端 IT 咨詢和教育平台 Boolan 聯合主辦的「 全球機器學習技術大會 」將在上海環球港凱悅酒店舉行，特邀近 50 位技術領袖和行業套用專家，與 1000+ 來自電商、金融、汽車、智慧制造、通訊、工業互聯網、醫療、教育等眾多行業的精英參會聽眾，共同探討人工智慧領域的前沿發展和行業最佳實踐。 歡迎所有開發者朋友存取官網 http://ml-summit.org、點選「閱讀原文」或掃碼進一步了解詳情。
