當前位置: 妍妍網 > 資訊

微軟推出38億參數語言模型;Meta VR 之心不死 | AI頭條

2024-04-23資訊

整理 | 王軼群

出品丨AI 科技大本營(ID:rgznai100)

一分鐘速覽新聞點!

  • 軟推出Phi-3,一 個在 3.3 萬億個 tokens 上訓練的 38 億參數語言模型

  • Meta 向第三方開放 Meta Horizon OS 的 VR 作業系統

  • 輝達幫助日本建造混合量子超級電腦

  • 訊息人士:拜登政府正在扭轉美國公司與阿聯之間的談判僵局,包括微軟 G42 交易

  • UIUC學者:Agents將大型語言模型與自動化軟體相結合,可透過閱讀安全公告利用安全漏洞

  • 一季度中國芯片產量同比增漲40%

  • 最高法啟動「版權AI智審」試點

  • 全球 AI 要聞

    微軟推出Phi-3,一個在 3.3 萬億個 tokens 上訓練的 38 億參數語言模型

    微軟釋出最新論文,介紹了其團隊引入了 Phi-3-mini。這是一個在 3.3 萬億個 tokens 上訓練的 38 億參數語言模型,從學術基準和內部測試衡量,其整體效能可與 Mixtral 8x7B 和 GPT-3.5 等模型相媲美(例如,Phi -3-mini 在 MMLU 上達到了 69%,在 MT-bench 上達到了 8.38),盡管它足夠小,可以部署在手機上。

    研究人員寫道:「創新完全在於我們的訓練數據集,這是用於 Phi-2 的數據集的放大版本,由經過嚴格過濾的網路數據和合成數據組成。該模型還進一步調整了穩健性、安全性和聊天格式。我們還提供了一些針對 4.8T tokens 訓練的 7B 和 14B 模型的初始參數縮放結果,稱為 Phi-3-small 和 Phi-3-medium,兩者都比 Phi-3-mini 能力更強(例如,分別為 75%) MMLU 上為 78%,MT 基準上為 8.7 和 8.9)。」 (arXiv)

    論文連結 https://arxiv.org/abs/2404.14219

    Meta 向第三方開放 Meta Horizon OS 的 VR 作業系統

    Meta 向第三方開放其名為 Horizon OS 的 VR 作業系統,並表示華碩和聯想都在計劃推出與 Meta Horizon OS 相容的耳機。繼上周釋出強大的全新開源 AI 模型 Llama 3 之後,Meta 公司如今又帶來另一條震撼行業的公告:為 Meta Quest 系列頭顯(包括最新的 Meta Quest 3)提供支持 Horizon 作業系統將向第三方廠商開放,供其據此構建硬體。該公司在4月22日的博文中表示,正在「向第三方硬體制造商開放為我們 Meta Quest 裝置提供支持的作業系統,希望借此給消費者帶來更多選擇,也為開發者們提供更廣泛的構建生態系。」

    輝達幫助日本建造混合量子超級電腦

    Nvidia 將為日本 ABCI-Q 提供軟體,這是一款混合超級電腦,可為藥物研究和其他用途提供量子計算能力。在東京,日本政府支持的技術研究所將與輝達合作建造一台混合超級電腦,為研究人員和公司提供量子計算能力。作為國家量子計算計劃的一部份,日本產業技術綜合研究所正在構建名為 ABCI-Q 的量子人工智慧混合雲系統。(日經亞洲)

    訊息人士:拜登政府正在扭轉美國公司與阿聯之間的談判僵局,包括微軟 G42 交易

    訊息人士稱,為了在人工智慧交易中尋求相對於中國的優勢,拜登政府正在斡旋美國公司與阿聯之間的談判,其中包括微軟的 G42 交易。4月中旬,微軟釋出官方部落格文章,宣布微軟將向總部位於阿聯的AI公司G42投資15億美元,獲得G42的少數股權和董事會席位。兩家公司將共同研發AI產品,並支持建設一個為開發人員提供的10億美元基金,以提高阿聯和更廣泛地區的AI技能。(英國【金融時報】)

    UIUC學者:Agents將大型語言模型與自動化軟體相結合,可透過閱讀安全公告利用安全漏洞

    在一篇新釋出的論文中,伊利諾大學厄巴納-香檳分校 (UIUC) 的四位電腦科學家——Richard Fang、Rohan Bindu、Akul Gupta 和 Daniel Kang——報告稱 OpenAI 的 GPT-4 大語言模型 (LLM) 可以在真實情況下自主利用漏洞-世界系統,如果獲得描述該缺陷的 CVE 公告。

    「為了證明這一點,我們收集了 15 個一日漏洞的數據集,其中包括 CVE 描述中被歸類為嚴重嚴重性的漏洞,」美國作者在論文中解釋道。「根據 CVE 描述,GPT-4 能夠利用 87% 的漏洞,而我們測試的其他所有模型(GPT-3.5、開源 LLM)和開源漏洞掃描程式(ZAP 和 Metasploit)只能利用 0% 」。「一日漏洞」是指已被披露但尚未修補的漏洞。透過 CVE 描述,該團隊指的是由 NIST 共享的帶有 CVE 標記的公告,例如CVE-2024-28859 的公告。

    測試的不成功模型 – GPT-3.5、OpenHermes-2.5-Mistral-7B、Llama-2 Chat (70B)、LLaMA-2 Chat (13B)、LLaMA-2 Chat (7B)、Mixtral-8x7B Instruct、Mistral (7B) Instruct v0.2、Nous Hermes-2 Yi 34B 和 OpenChat 3.5 ——不包括 GPT-4 的兩個主要商業競爭對手,Anthropic 的 Claude 3 和 Google 的 Gemini 1.5 Pro。(arXiv)

    論文連結 https://arxiv.org/abs/2404.08144

    一季度中國芯片產量同比增漲40%

    今年第一季度中國芯片總產量同比飆升40%,達到了981億顆,這表明在先進制程發展受到美國限制之下,中國的成熟制程芯片的產能正在快速擴大。根據國家統計局周二公布的最新數據顯示,僅今年3月份,全國積體電路產量就增長了28.4%,達到362億顆,創歷史新高。該機構表示,中國「高科技制造業增長更快」。中國積體電路產量的大幅增長,部份得益於新能源汽車等下遊行業的強勁需求。數據顯示,一季度全國新能源汽車產量增長29.2%至208萬輛。同期智慧型手機產量增長了 16.7%。(國家統計局)

    最高法啟動「版權AI智審」試點

    4月22日,最高人民法院啟動「版權AI智審」試點工作。最高人民法院決定在部份省份法院開展「版權AI智審」試點工作,充分運用數位技術和人工智慧提升智慧財產權司法保護質效,更好發揮著作權審判助力優秀文化傳播利用、促進文化產業健康發展的服務保障作用,有力服務和支撐高品質發展。

    「版權AI智審」借助「以圖搜圖」技術和海量數據底池,實作「圖片查重」「創新參考」「侵權比對」三大功能,進一步解決涉圖片版權案件原創權屬認定、相似度比對等難題。(央視新聞)

    4 月 25 ~ 26 日,由 CSDN 和高端 IT 咨詢和教育平台 Boolan 聯合主辦的「 全球機器學習技術大會 」將在上海環球港凱悅酒店舉行,特邀近 50 位技術領袖和行業套用專家,與 1000+ 來自電商、金融、汽車、智慧制造、通訊、工業互聯網、醫療、教育等眾多行業的精英參會聽眾,共同探討人工智慧領域的前沿發展和行業最佳實踐。 歡迎所有開發者朋友存取官網 http://ml-summit.org、點選「閱讀原文」或掃碼進一步了解詳情。