當前位置: 妍妍網 > 碼農

RoCE取代IB:為何之前是IB,現在是RoCE?

2024-06-27碼農

本文來自「 」,文章參考「 」。

在傳統乙太網路上延展,超乙太網路聯盟聚集頭部玩家。 超乙太網路聯盟( UEC Linux 基金會及其聯合開發基金會倡議主辦,目標是超越現有的乙太網路功能,以 RDMA RoCE 等提供面向 HPC AI 計算的高效能、分布式和無失真傳輸層,其初創成員包括 AMD Arista 、博通、思科、 Eviden HPE Intel Meta 和微軟。

截至 2024 3 19 日, UEC 目前已新增 45 名新成員,並已釋出 UEC 規範 1.0 概述白皮書,簡述了 UEC 規範可實作八大功能和超乙太網路傳輸( UET )的效能優勢。

博通是全球領先的有線和無線通訊半 導體公司,目前已在行業深耕 60 余年,擁有深厚的技術積累與豐富的產品組合。在 RoCE 領域,公司從控制器、介面卡、 NIC 、交換機四方面入手,目前已有超 30 種相關產品,近期博通基於第四代 RoCE 推出單埠 400GbE 乙太網路介面卡 N1400GD 和單埠 400GPCIe 乙太網路 NIC P1400GD ,主要套用於 AI 、雲端運算、高效能計算和儲存的網路構建。

輝達在 NIC 和交換機方向進行布 局,盡管此前輝達是 InfiniBand 的主要推動者及供應商,但也持續在 RoCE 方向布局,陸續推出 Spectrum SN4000 Spectrum SN5000 交換機則,並於今年推出與 IB 新產品同規格的 Spectrum X800 交換機,同時計劃於 2025 年推出 512 埠的 Spectrum UltraX800 交換機,於 2026 年推出頻寬相比 X800 翻倍的 X1600

2020 年以來, Meta 始終致力於 營運基於 RoCE 的分布式訓練集群,但早期面臨一致性挑戰。為實作 RoCE AI 計算套用落地, Meta 作為創始成員成立超乙太網路聯盟,並積極推進 RoCE 的部署。公司使用 Arista 7800 Wedge 400 等組成的 RoCE 網路能夠實作 400G 互連,現已成功運用於 Llama3 集群。

RDMA 相比傳統 TCP/IP 技術更符合 AI 計算高並行、低延遲的要求,是更優選。 和之前的 TCP/IP 軟硬體架構相比, RDMA 使得通訊系統直接透過網卡存取 GPU 視訊記憶體數據,流程無需經過作業系統或 CPU ,這種高吞吐、低延遲的網路通訊非常適合在大規模並列 AI 計算集群中使用。

目前支持 RDMA 的網路有 Infiniband RoCE(RDMA over Converged Ethernet) iWARP 各類網路特性各異:

Infiniband 專為 RDMA 設計,從硬體級別保證可靠傳輸,套用效果好,無需 做針對性的設計研發但是需要 IB 網卡和交換機支持,成本高昂

RoCE 基於乙太網路和傳輸層 UDP 協定設計,消耗的資源更少,可以使用普通 的乙太網路交換機,但需要專門支持 RoCE 的網卡。

iWARP 基於乙太網路傳輸層 TCP 協定,利用 TCP 達到可靠傳輸。相比 RoCE 在大型組網的情況下, iWARP 的大量 TCP 連線會占用大量的記憶體資源( RoCE UDP 連線不需要),對系統規格要求更高。可以使用普通的乙太網路交換機,但需要專門支持 iWARP 的網卡。

AI 算力建設浪潮中, IB 是早期局部最優解, RoCE 是更廣泛最優解。 AI 力建設加速之初,高吞吐、低延遲的網路要求需要支持 RDMA 的網路通訊,從輝達 H 系列 GPU 持續性地供不應求也可以看出,短時間內快速、保質、保量實作算力落地是各算力投資方的核心訴求,因此輝達的 GPU 加上天然適配 RDMA IB 網路架構 是當時的最優解。

長期看,乙太網路 /RoCE 相比 IB 在雲端運算領域有更深厚的產業套用基礎,實作成本 也更低,隨著技術越來越成熟,且推理需求逐漸起勢,乙太網路將逐步將來到 AI 算力舞 台中心。

相關閱讀:

轉載申明:轉載 本號文章請 註明作者 來源 ,本號釋出文章若存在版權等問題,請留言聯系處理,謝謝。

推薦閱讀

更多 架構相關技術 知識總結請參考「 架構師全店鋪技術資料打包 (全) 」相關電子書( 41本 技術資料打包匯總詳情 可透過「 閱讀原文 」獲取)。

全店內容持續更新,現下單「 架構師技術全店資料打包匯總(全) 」一起發送「 和「 pdf及ppt版本 ,後續可享 全店 內容更新「 免費 」贈閱,價格僅收 249 元(原總價 399 元)。

溫馨提示:

掃描 二維碼 關註公眾號,點選 閱讀原文 連結 獲取 架構師技術全店資料打包匯總(全) 電子書資料詳情