整理 | 王軼群
出品丨AI 科技大本營（ID： rgznai100）
一分鐘速覽新聞點！
PyTorch 釋出 torchtune alpha版本，易於LLM微調
Meta 研究團隊提出上下文長度不受限的 Megalodon 架構
Adobe正處於開發可在 Premiere Pro 利用 Sora等工具生成視訊的早期階段
Linux 基金會宣布推出企業 AI 開放平台 OPEA
AMD 推出 Ryzen Pro 8000 系列處理器，為 PC 增加用於 AI 處理的 NPU
谷歌DeepMind推出Aloha，利用低成本機器人和人工智慧突破靈活性界限
Rivos 與蘋果公司就商業機密盜竊問題達成和解，已籌集2.5億美元參與芯片競爭
Mistral AI 最新融資後估值或達50億美元
MiniMax 釋出萬億 MoE 模型abab 6.5
中國第一個音樂SOTA模型「天工SkyMusic」開啟公測
全球 AI 要聞
PyTorch 釋出 torchtune alpha版本，易於LLM微調
4月16日，PyTorch 團隊釋出 torchtune 的 alpha 版本。PyTorch 官方表示，這是一個 PyTorch 原生庫，用於輕松微調大型語言模型。秉承 PyTorch 的設計原則，torchtune 提供可組合和模組化的構建塊以及易於擴充套件的訓練配方，以在各種消費級和專業 GPU 上微調當下的 LLM。torchtune 支持從開始到結束的完整微調工作流程，包括：
下載並準備數據集和模型檢查提示；
使用支持不同模型架構、參數高效微調 (PEFT) 技術等的可組合構建塊自訂訓練；
記錄進度和指標以深入了解訓練過程；
量化模型後續調整；
根據當下基準評估微調模型；
執行本地推理結果來測試微調模型；
檢查提示與當下的生產推理系統的相容。
Meta 研究團隊提出上下文長度不受限的 Megalodon 架構
Transformer 的二次復雜度和弱長度外推限制了它們擴充套件到長序列的能力。Meta 研究團隊的最新論文，介紹了一個具有無限上下文長度的高效 LLM 預訓練和推理的Megalodon 架構。該論文介紹了 Megalodon 一種神經架構，用於具有無限上下文長度的高效序列建模。Megalodon繼承了 Mega（帶門控註意力的指數移動平均線）的架構。研究表明，在與Llama 2 的對照頭對頭比較中，Megalodon 在 70 億個參數和 2 萬億個訓練tokens的規模上實作了比 Transformer 更好的效率。（arXiv）
論文連結：
https://arxivtools.blob.core.windows.net/xueshuxiangzipaperhtml/2024_4_16/2404.08801.pdf
GitHub：
https://github.com/XuezheMax/megalodon
Adobe正處於開發可在 Premiere Pro 利用 Sora等工具生成視訊的早期階段
4月15日，Adobe 表示，目前正處於允許在其廣泛使用的視訊編輯軟體 Premiere Pro 中使用 OpenAI 的 Sora、Runway 和 Pika Labs 的 AI 模型等第三方生成人工智慧工具的早期階段。Adobe 的 Premiere Pro 應用程式廣泛套用於電視和電影行業。這家位於加利福尼亞州聖荷西的公司計劃今年在該軟體中添加基於人工智慧的功能，例如能夠用人工智慧生成的物件填充場景的部份內容，或者消除場景中的幹擾，而無需人工進行任何繁瑣的手動視訊編輯工作。（路透社）
Linux 基金會宣布推出企業 AI 開放平台 OPEA
4月16日，Linux 基金會宣布推出企業人工智慧開放平台 （OPEA），即Linux 基金會的沙盒計畫之一，一種孵化器計劃。該計畫旨在促進開放、多提供商和可組合（即模組化）生成人工智慧系統的開發。在 Linux 基金會的 LF AI 和數據組織（專註於人工智慧和數據相關平台計劃）的職權範圍內，OPEA 的目標是為釋出「強化的」、「可延伸的」生成式人工智慧系統鋪平道路，這些系統「利用整個生態系中最好的開源創新，」LF AI 和 Data 執行董事 Ibrahim Haddad 在一份新聞稿中表示。他表示：「OPEA 將透過建立一個位於技術堆疊最前沿的詳細的、可組合的框架來釋放人工智慧的新可能性。」 「這一舉措證明了我們的使命，即在中立和開放的治理模式下推動人工智慧和數據社群內的開源創新和協作。」
除了 Cloudera 和英特爾之外，OPEA的成員還包括IBM 旗下的 Red Hat、Hugging Face、Domino Data Lab、MariaDB 和 VMware 等重量級企業。（TechCrunch）
AMD 推出 Ryzen Pro 8000 系列處理器，為 PC 增加用於 AI 處理的 NPU
4月16日，AMD 釋出了 Ryzen Pro 產品組合，將「Hawk Point」8040 系列擴充套件到商用膝上型電腦和工作站使用者，同時為商用台式電腦提供Ryzen 8000「Phoenix」APU 型號。Pro 系列基於 AMD 現有的面向消費者的處理器型號，但配備了針對商業市場量身客製的附加功能。這些相同的 AI 加速功能現在正面向商業使用者推出，這讓 AMD 成為第一家為膝上型電腦和工作站配備配備 NPU 的專業 CPU 的公司。（Tom's Hardware）
谷歌DeepMind推出Aloha，利用低成本機器人和人工智慧突破靈活性界限
4月16日，谷歌 DeepMind 團隊成員 Tony Z. Zhao 在其X帳號上發貼表示，隆重推出Aloha， 這款機器人憑借低成本機器人和人工智慧技術突破靈活性的界限。他表示，幾個月後終於可以分享一些視訊，附帶的視訊演示為機器人完全自主連續拍攝。
Rivos 與蘋果公司就商業機密盜竊問題達成和解，已籌集2.5億美元參與芯片競爭
4月16日，矽谷芯片開發商 Rivos 表示，已籌集經超過 2.5 億美元，致力於推出其首款產品，強調了對新硬體的推動，以滿足人工智慧的需求，緯資本管理公司 (Matrix Capital Management) 是最新一輪融資的最大投資者，新投資者包括英特爾投資公司 (Intel Capital) 和聯發科等。該公司瞄準數據分析和生成人工智慧市場。據悉，Rivos 最近已與蘋果公司就商業機密盜竊問題達成和解。（彭博社）
Mistral AI 最新融資後估值或達50億美元
據一位直接知情人士透露， Mistral AI 正在與投資者就以50億美元估值籌集數億美元進行談判。Mistral 是一家總部位於巴黎的開源人工智慧初創公司，最近才開始產生收入，該公司於 2023 年 12 月以 20 億美元估值籌集了 4.15 億美元資金。（The Information）
MiniMax 釋出萬億 MoE 模型abab 6.5
4月17日，MiniMax 正式推出abab 6.5 系列模型。萬億 MoE 模型 abab 6.5， 在各類核心能力測試中，abab 6.5 開始接近 GPT-4, Claude 3 Opus, Gemini 1.5 Pro 等世界上最領先的大語言模型。
中國第一個音樂SOTA模型「天工SkyMusic」開啟公測
4月17日，據昆侖萬維官微訊息，在「天工」大模型一周年之際，昆侖萬維宣布「天工3.0」基座大模型與「天工SkyMusic」音樂大模型正式開啟公測。據悉，「天工3.0」擁有4000億參數，超越了3140億參數的Grok-1，是全球最大的開源MoE大模型；「天工3.0」旗下的「天工SkyMusic」音樂大模型是中國第一個音樂SOTA模型。
天工3.0模型參數超越Grok-1，問鼎全球最大開源MoE專家混合大模型
與行業主流路徑不同，「天工SkyMusic」采用自研大模型音樂音訊生成技術路線。這一路線直接透過大模型技術實作樂器、人聲、旋律、音量、音符的一體化端到端音樂生成。
在與海外頂尖的AI音樂大模型Suno V3的橫向測評中，「天工SkyMusic」在人聲&BGM音質、人聲自然度、發音可懂度等領域領先對手，並以6.65分的綜合得分超越Suno V3，成為全球AI音樂SOTA模型。
「天工SkyMusic」還擁有獨創的參考音樂生成與方言歌曲生成能力。
參考音樂生成：使用者可上傳自有參考音樂，或選擇「天工SkyMusic」資料庫中現有的參考音樂，從而生成風格、唱腔類似的歌曲，進一步降低音樂大模型的使用門檻，讓不熟悉樂理知識的使用者也能輕松玩轉。
方言歌曲生成：「天工SkyMusic」生成的音樂不僅在人聲自然度、發聲可懂度等領域表現優秀，更能夠支持粵語、成都話、北京話等眾多方言，讓使用者能夠更自由地實作音樂表達，傳播方言文化。
4 月 25 ~ 26 日，由 CSDN 和高端 IT 咨詢和教育平台 Boolan 聯合主辦的「 全球機器學習技術大會 」將在上海環球港凱悅酒店舉行，特邀近 50 位技術領袖和行業套用專家，與 1000+ 來自電商、金融、汽車、智慧制造、通訊、工業互聯網、醫療、教育等眾多行業的精英參會聽眾，共同探討人工智慧領域的前沿發展和行業最佳實踐。 歡迎所有開發者朋友存取官網 http://ml-summit.org、點選「閱讀原文」或掃碼進一步了解詳情。
