当前位置: 欣欣网 > 码农

国产算力训练大模型的经验与教训

2024-04-26码农

本文来自「 」。本文介绍大模型的计算特征(国产平台介绍、系统挑战、算子实现、容错)、框架的并行性支持、未来算法等。

随着ChatGPT的横空出世,人工智能大模型成为各行各业热议的焦点,国内外各种大模型如雨后春笋般涌现,引发了新一轮人工智能热潮。但在看到大模型取得巨大进步的同时,也要看到当前国内大模型的研发推广仍然面临不小的挑战和压力。

面对上述挑战,需从战略层面统筹考虑大模型研发运营等相关问题,充分发挥「集中力量办大事」的制度优势,强化顶层设计,加大统一规划,加大政策支持和资源投入力度,推动中国人工智能从「跟跑」迈向「领跑」。

  • 一是提高算力规模。进一步完善信息基础设施,加快推进「东数西算」步伐,加大算力网络建设力度,为大模型研发运营提供足够算力,同时进一步提高网络速度,降低网络时延,为更多大模型走向应用创造条件。

  • 二是加强数据管理。国家层面加强对数据的管控,明确行业标准,建立数据使用规则,确保大模型训练数据的质量。同时,针对行业数据,破除不同厂家之间数据互相不能查询的壁垒,确保大模型训练有充足、准确的专业数据。

  • 三是建立大模型研发「国家队」。集中全国顶尖人才和优质资源,举全国之力进行攻坚突破,同时解决大模型研发中存在的「小而散」问题,减少无效或低效大模型开发对算力和能源的浪费。

  • 四是加大资金投入。建立国家大模型基金,专门用于大模型的研发、训练等。

  • 五是加大政策支持。面向大模型研发,制订更加优惠的税收政策。针对国有企业在大模型研发上投入的资金,允许以两倍规模计为企业净利润。

  • 六是加大科技投入。解决核心技术「卡脖子」问题,特别是加大人工智能芯片研发制造力度。

  • 下载链接:

    下载链接:

    更新提醒:「 」和「 」已经更新发布,还没有获取的读者,请在点击「原文链接」在微店留言获取 PDF阅读版本 )。

    转载申明:转载 本号文章请 注明作者 来源 ,本号发布文章若存在版权等问题,请留言联系处理,谢谢。

    推荐阅读

    更多 架构相关技术 知识总结请参考「 架构师全店铺技术资料打包 (全) 」相关电子书( 41本 技术资料打包汇总详情 可通过「 阅读原文 」获取)。

    全店内容持续更新,现下单「 架构师技术全店资料打包汇总(全) 」一起发送「 和「 pdf及ppt版本 ,后续可享 全店 内容更新「 免费 」赠阅,价格仅收 249 元(原总价 439 元)。

    温馨提示:

    扫描 二维码 关注公众号,点击 阅读原文 链接 获取 架构师技术全店资料打包汇总(全) 电子书资料详情