當前位置: 妍妍網 > 資訊

輝達開源3400億參數GPT-4級大模型;Meta 將把使用者數據用於 AI 訓練 | AI 頭條

2024-06-17資訊

整理 | 王軼群

出品 | AI 科技大本營(ID:rgznai100)

一分鐘速覽新聞點!

  • 輝達開源規模最大的 LLM Nemotron-4 340B

  • OpenAI 對或將踢掉董事會變成營利性公司做出回應

  • Meta 更新私密政策,從月底起將把使用者數據用於訓練 AI

  • Meta 被爆將一次性裁掉50多位副總裁

  • 蘋果文生圖套用新特性:僅產卡通影像,後設資料由 AI 智慧標註

  • 蘋果:不會根據使用者的私人數據或使用者互動來訓練模型

  • 蘋果和 Meta 或因未能遵守數位市場法案面臨被歐盟指控

  • DeepMind 最新研究提出用混合架構的方法解決 Transformer 模型的推理缺陷

  • Tempus AI 在納斯達克首次亮相,市值約為 66 億美元

  • Sakana AI 即將獲得新一輪1億美元融資,估值達10億美元

  • 全球 AI 要聞

    輝達開源規模最大的 LLM Nemotron-4 340B

    輝達於當地時間6月14日開源Nemotron-4 340B(3400億參數)系列模型。據輝達介紹,開發人員可使用該系列模型生成合成數據,用於訓練大型語言模型(LLM),用於醫療保健、金融、制造、零售和其他行業的商業套用。

    Nemotron-4 340B包括基礎模型Base、指令模型Instruct和獎勵模型Reward。輝達使用了9萬億個token(文本單位)進行訓練。Nemotron-4 340B-Base在常識推理任務,如ARC-c、MMLU和BBH基準測試中,可以和Llama-3 70B、Mixtral 8x22B和Qwen-2 72B模型媲美。

    Nemotron-4 340B 現已可從Hugging Face下載。開發人員很快就能在ai.nvidia.com上存取這些模型,它們將被打包為NVIDIA NIM微服務,並帶有可在任何地方部署的標準應用程式編程介面。

    官網連結:

    https://research.nvidia.com/publication/2024-06_nemotron-4-340b

    Hugging Face:

    https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911

    OpenAI 對或將踢掉董事會變成營利性公司做出回應

    當地時間6月14日,知情人士消 息稱,OpenAI CEO Sam Altman 告訴一些股東,公司正在考慮改變其治理結構,非盈利董事會將不控制營利性業務。董事會考慮的一個方案是轉變為營利性公益公司,類似競爭對手 Anthropic 和 xAI 使用的模式。此舉將最終為 OpenAI 進行 IPO 開啟大門。目前 OpenAI 的估值為 860 億美元。對於這一報道,當地時間6月15日,OpenAI 在回復路透社有關該報道的詢問時表示,「我們仍然專註於打造造福於每個人的人工智慧。非營利組織是我們的核心使命,並將繼續存在。」(The Information )

    Meta 更新私密政策,從月底起將把使用者數據用於訓練 AI

    Meta 更新私密政策,將從 6 月 26 日起使用使用者在 Facebook、Instagram、Threads 或 WhatsApp 上的發帖和聊天數據來訓練其生成式人工智慧模型。即使使用者未使用 Meta 服務,只要其他人釋出了包含使用者數據的內容,Meta 仍可收集這些數據。使用者如不同意可選擇結束,雖然 Meta 不保證完全同意,但會根據數據保護法審查請求。在美國或其他無數據私密法國家,使用者難以阻止 Meta 使用數據訓練人工智慧。Meta 表示不會使用私人對話數據,但公開社交媒體貼文可能被收集。使用者可設定帳號私密以降低風險,且歐盟和英國使用者因嚴格的數據保護法律較容易選擇結束。

    Meta 被爆將一次性裁掉50多位副總裁

    當地時間 6 月 13 日,據三位知情人士透露,Meta 正考慮裁減數百名副總裁。

    據一位知情人士透露,去年 Meta 的副總裁人數達到頂峰時約有 300 人。這一數位比前幾年的 180 人有所增加。這位知情人士補充說,盡管去年在第二波大規模裁員潮來臨之前,有幾位副總裁離開了公司,但祖克柏希望 Meta 的副總裁總數接近 250 人。副總裁職位分為五個級別。

    據數據顯示,經過多輪裁員後,截至 2024 年 3 月 31 日,Meta 在全球的員工總人數為 6.9 萬人,減少了大約 22% 的員工數量。Meta CEO 祖克柏曾表示:「更精簡的組織將更快地執行其最高優先事項,人們的工作效率將會更高,他們的工作也會更加有趣和充實。」

    「總體目標仍然是減少中高層管理者人數,增加底層員工的人數,」該人士表示。「現在又出現了中高層人數過多的情況。」(Business Insider)

    蘋果文生圖套用新特性:僅產卡通影像,後設資料由 AI 智慧標註

    蘋果公司在其 2024 年全球開發者大會(WWDC)上透露,未來 iOS 系統將透過 AI 技術在生成的圖片後設資料中標註「AI 生成」,以提高資訊透明度和幫助使用者辨識影像來源。同時,iOS 18 Beta 1 的更新程式碼中出現了用於標記人工智慧生成影像的「取證」功能。蘋果還推出了「Image Playground」功能,允許使用者輸入描述並生成個人化影像,該套用僅生成卡通化影像以避免錯誤資訊傳播風險。使用者可在裝置上直接生成預覽影像,並在多個套用中檢視和使用,同時可在 Image Playground 套用中進行編輯和分享。

    蘋果:不會根據使用者的私人數據或使用者互動來訓練模型

    蘋果正在為 Apple Intelligence 使用自己制作的 AI 模型。蘋果指出,它不會使用私人數據或使用者互動來訓練其模型,這與其他公司相比是獨一無二的。相反,蘋果同時使用授權材料和由該公司的 Applebot 網路爬蟲抓取的公開線上數據。如果出版商不希望他們的數據被蘋果獲取,他們必須選擇結束,這聽起來類似於谷歌和OpenAI的政策。蘋果還表示,它不會提供網上流傳的社保和信用卡號碼,也不會理會「臟話和其他低品質內容」。(The Verge)

    蘋果和 Meta 或因未能遵守數位市場法案面臨被歐盟指控

    布魯塞爾當地時間6月14日訊息, 據三位知情人士周五表示,歐盟很可能因未能遵守前不久剛剛生效的數位市場法案(DMA)而面臨指控。歐盟的調查針對的是蘋果的指導規則,監管機構稱,蘋果的指導規則施加了限制,阻礙應用程式開發商告知使用者其市集之外的免費優惠,以及向應用程式開發商征收的新費用。

    DMA 要求大型科技公司為較小的競爭對手開放競爭空間,並讓人們更容易在社交媒體平台、互聯網瀏覽器和市集等相互競爭的線上服務之間轉換。

    訊息人士稱,歐盟監管機構將在8月份暑假前釋出類似反壟斷指控的初步調查結果,首先受到指控的是蘋果,其次是Meta。委員會和Meta拒絕置評。蘋果參照了其 3 月份的聲明,稱其有信心其計劃符合 DMA,並將繼續與委員會進行建設性接觸。(路透社)

    DeepMind 最新研究提出用混合架構的方法解決 Transformer 模型的推理缺陷

    DeepMind發表了一篇名為【當 Transformer 遇見神經演算法推理機】的論文,提出用混合架構的方法解決Transformer模型的推理缺陷。將Transformer的NLU技能與基於GNN的神經演算法推理器(NAR)的強大演算法推理能力相結合,可以實作更加泛化、穩健、準確的LLM推理。

    當 Transformer 執行演算法形式的推理時,這種語言模型仍然很脆弱,因為計算必須精確且穩健。為了解決這一限制,該團隊提出了一種新穎的方法,將 Transformer 的語言理解與基於圖神經網路 (GNN) 的神經演算法推理器 (NAR) 的穩健性相結合。當以圖形形式指定時,此類 NAR 被證明是有效的演算法任務通用求解器。為了使 Transformer 可以存取它們的嵌入,研究者提出了一種具有兩階段訓練過程的混合架構,允許語言模型中的標記交叉關註來自 NAR 的節點嵌入。研究者在 CLRS-Text(CLRS-30 基準的基於文本的版本)上評估了得到的 TransNAR 模型,並證明了在演算法推理方面比僅使用 Transformer 的模型有顯著的提升,無論是在分布內還是分布外。

    論文地址:

    https://arxiv.org/abs/2406.09308

    Tempus AI 在納斯達克首次亮相,市值約為 66 億美元

    Tempus AI 是一家醫療診斷公司,利用人工智慧解讀醫療測試,幫助醫生為患者提供更準確的治療。該公司於6月14日納斯達克股票市場首次亮相,股票程式碼為「TEM」,漲幅高達 15%。6月13日,Tempus AI 以每股 37 美元的價格發行了 1110 萬股,處於其最初 35 至 37 美元的目標區間的上限。該公司以略高於 60 億美元的隱含估值籌集了 4.1 億美元。該公司早期的漲幅使估值高達 70 億美元,但其第一個交易日收盤上漲近 9%,市值約為 66.5 億美元。

    Tempus 認為,人工智慧可以與患者的醫生一起幫助指導療法的選擇和治療決策。2023 年,該公司的總收入為 5.318 億美元,凈虧損為 2.141 億美元。(CNBC)

    Sakana AI 即將獲得新一輪1億美元融資,估值達10億美元

    據報道,日本生成式AI初創公司Sakana AI即將獲得一筆新的重大投資,估值將達到約1800億日元(約合83億元人民幣)。這使得該公司估值超過10億美元,有望成為日本增長最快的「獨角獸」企業。

    Sakana AI的主要投資者包括對OpenAI等公司進行初期投資的風險投資家。他們計劃在本月底之前向Sakana AI投資約200億日元。

    據三位直接了解情況的人士稱,Sakana 由谷歌 DeepMind 的校友於2023年創立,正在由 New Enterprise Associates 和現有投資者 Lux Capital 和 Khosla Ventures 共同牽頭的新一輪融資中籌集約1億美元。據知情人士透露,這輪融資的估值約為 10 億美元,但尚未產生收益。(The Information)

    由 CSDN 和 Boolan 聯合主辦的「2024 全球軟體研發技術大會(SDCon)」將於 7 月 4 -5 日在北京威斯汀酒店舉行。

    由世界著名軟體架構大師、雲原生和微服務領域技術先驅 Chris Richardson 和 MIT 電腦與 AI 實驗室(CSAIL)副主任,ACM Fellow Daniel Jackson 領銜,BAT、微軟、字節跳動、小米等技術專家將齊聚一堂,共同探討軟體開發的最前沿趨勢與技術實踐。