當前位置: 妍妍網 > 碼農

國產算力訓練大模型的經驗與教訓

2024-04-26碼農

本文來自「 」。本文介紹大模型的計算特征(國產平台介紹、系統挑戰、算子實作、容錯)、框架的並列性支持、未來演算法等。

隨著ChatGPT的橫空出世,人工智慧大模型成為各行各業熱議的焦點,國內外各種大模型如雨後春筍般湧現,引發了新一輪人工智慧熱潮。但在看到大模型取得巨大進步的同時,也要看到當前國內大模型的研發推廣仍然面臨不小的挑戰和壓力。

面對上述挑戰,需從戰略層面統籌考慮大模型研發營運等相關問題,充分發揮「集中力量辦大事」的制度優勢,強化頂層設計,加大統一規劃,加大政策支持和資源投入力度,推動中國人工智慧從「跟跑」邁向「領跑」。

  • 一是提高算力規模。進一步完善資訊基礎設施,加快推進「東數西算」步伐,加大算力網路建設力度,為大模型研發營運提供足夠算力,同時進一步提高網路速度,降低網路時延,為更多大模型走向套用創造條件。

  • 二是加強數據管理。國家層面加強對數據的管控,明確行業標準,建立數據使用規則,確保大模型訓練數據的品質。同時,針對行業數據,破除不同廠家之間數據互相不能查詢的壁壘,確保大模型訓練有充足、準確的專業數據。

  • 三是建立大模型研發「國家隊」。集中全國頂尖人才和優質資源,舉全國之力進行攻堅突破,同時解決大模型研發中存在的「小而散」問題,減少無效或低效大模型開發對算力和能源的浪費。

  • 四是加大資金投入。建立國家大模型基金,專門用於大模型的研發、訓練等。

  • 五是加大政策支持。面向大模型研發,制訂更加優惠的稅收政策。針對國有企業在大模型研發上投入的資金,允許以兩倍規模計為企業凈利潤。

  • 六是加大科技投入。解決核心技術「卡脖子」問題,特別是加大人工智慧芯片研發制造力度。

  • 下載連結:

    下載連結:

    更新提醒:「 」和「 」已經更新釋出,還沒有獲取的讀者,請在點選「原文連結」在微店留言獲取 PDF閱讀版本 )。

    轉載申明:轉載 本號文章請 註明作者 來源 ,本號釋出文章若存在版權等問題,請留言聯系處理,謝謝。

    推薦閱讀

    更多 架構相關技術 知識總結請參考「 架構師全店鋪技術資料打包 (全) 」相關電子書( 41本 技術資料打包匯總詳情 可透過「 閱讀原文 」獲取)。

    全店內容持續更新,現下單「 架構師技術全店資料打包匯總(全) 」一起發送「 和「 pdf及ppt版本 ,後續可享 全店 內容更新「 免費 」贈閱,價格僅收 249 元(原總價 439 元)。

    溫馨提示:

    掃描 二維碼 關註公眾號,點選 閱讀原文 連結 獲取 架構師技術全店資料打包匯總(全) 電子書資料詳情