当前位置: 欣欣网 > 资讯

英伟达开源3400亿参数GPT-4级大模型;Meta 将把用户数据用于 AI 训练 | AI 头条

2024-06-17资讯

整理 | 王轶群

出品 | AI 科技大本营(ID:rgznai100)

一分钟速览新闻点!

  • 英伟达开源规模最大的 LLM Nemotron-4 340B

  • OpenAI 对或将踢掉董事会变成营利性公司做出回应

  • Meta 更新隐私政策,从月底起将把用户数据用于训练 AI

  • Meta 被爆将一次性裁掉50多位副总裁

  • 苹果文生图应用新特性:仅产卡通图像,元数据由 AI 智能标注

  • 苹果:不会根据用户的私人数据或用户互动来训练模型

  • 苹果和 Meta 或因未能遵守数字市场法案面临被欧盟指控

  • DeepMind 最新研究提出用混合架构的方法解决 Transformer 模型的推理缺陷

  • Tempus AI 在纳斯达克首次亮相,市值约为 66 亿美元

  • Sakana AI 即将获得新一轮1亿美元融资,估值达10亿美元

  • 全球 AI 要闻

    英伟达开源规模最大的 LLM Nemotron-4 340B

    英伟达于当地时间6月14日开源Nemotron-4 340B(3400亿参数)系列模型。据英伟达介绍,开发人员可使用该系列模型生成合成数据,用于训练大型语言模型(LLM),用于医疗保健、金融、制造、零售和其他行业的商业应用。

    Nemotron-4 340B包括基础模型Base、指令模型Instruct和奖励模型Reward。英伟达使用了9万亿个token(文本单位)进行训练。Nemotron-4 340B-Base在常识推理任务,如ARC-c、MMLU和BBH基准测试中,可以和Llama-3 70B、Mixtral 8x22B和Qwen-2 72B模型媲美。

    Nemotron-4 340B 现已可从Hugging Face下载。开发人员很快就能在ai.nvidia.com上访问这些模型,它们将被打包为NVIDIA NIM微服务,并带有可在任何地方部署的标准应用程序编程接口。

    官网链接:

    https://research.nvidia.com/publication/2024-06_nemotron-4-340b

    Hugging Face:

    https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911

    OpenAI 对或将踢掉董事会变成营利性公司做出回应

    当地时间6月14日,知情人士消 息称,OpenAI CEO Sam Altman 告诉一些股东,公司正在考虑改变其治理结构,非盈利董事会将不控制营利性业务。董事会考虑的一个方案是转变为营利性公益公司,类似竞争对手 Anthropic 和 xAI 使用的模式。此举将最终为 OpenAI 进行 IPO 打开大门。目前 OpenAI 的估值为 860 亿美元。对于这一报道,当地时间6月15日,OpenAI 在回复路透社有关该报道的询问时表示,「我们仍然专注于打造造福于每个人的人工智能。非营利组织是我们的核心使命,并将继续存在。」(The Information )

    Meta 更新隐私政策,从月底起将把用户数据用于训练 AI

    Meta 更新隐私政策,将从 6 月 26 日起使用用户在 Facebook、Instagram、Threads 或 WhatsApp 上的发帖和聊天数据来训练其生成式人工智能模型。即使用户未使用 Meta 服务,只要其他人发布了包含用户数据的内容,Meta 仍可收集这些数据。用户如不同意可选择退出,虽然 Meta 不保证完全同意,但会根据数据保护法审查请求。在美国或其他无数据隐私法国家,用户难以阻止 Meta 使用数据训练人工智能。Meta 表示不会使用私人对话数据,但公开社交媒体帖子可能被收集。用户可设置账号私密以降低风险,且欧盟和英国用户因严格的数据保护法律较容易选择退出。

    Meta 被爆将一次性裁掉50多位副总裁

    当地时间 6 月 13 日,据三位知情人士透露,Meta 正考虑裁减数百名副总裁。

    据一位知情人士透露,去年 Meta 的副总裁人数达到顶峰时约有 300 人。这一数字比前几年的 180 人有所增加。这位知情人士补充说,尽管去年在第二波大规模裁员潮来临之前,有几位副总裁离开了公司,但扎克伯格希望 Meta 的副总裁总数接近 250 人。副总裁职位分为五个级别。

    据数据显示,经过多轮裁员后,截至 2024 年 3 月 31 日,Meta 在全球的员工总人数为 6.9 万人,减少了大约 22% 的员工数量。Meta CEO 扎克伯格曾表示:「更精简的组织将更快地执行其最高优先事项,人们的工作效率将会更高,他们的工作也会更加有趣和充实。」

    「总体目标仍然是减少中高层管理者人数,增加底层员工的人数,」该人士表示。「现在又出现了中高层人数过多的情况。」(Business Insider)

    苹果文生图应用新特性:仅产卡通图像,元数据由 AI 智能标注

    苹果公司在其 2024 年全球开发者大会(WWDC)上透露,未来 iOS 系统将通过 AI 技术在生成的图片元数据中标注「AI 生成」,以提高信息透明度和帮助用户识别图像来源。同时,iOS 18 Beta 1 的更新代码中出现了用于标记人工智能生成图像的「取证」功能。苹果还推出了「Image Playground」功能,允许用户输入描述并生成个性化图像,该应用仅生成卡通化图像以避免错误信息传播风险。用户可在设备上直接生成预览图像,并在多个应用中查看和使用,同时可在 Image Playground 应用中进行编辑和分享。

    苹果:不会根据用户的私人数据或用户互动来训练模型

    苹果正在为 Apple Intelligence 使用自己制作的 AI 模型。苹果指出,它不会使用私人数据或用户交互来训练其模型,这与其他公司相比是独一无二的。相反,苹果同时使用授权材料和由该公司的 Applebot 网络爬虫抓取的公开在线数据。如果出版商不希望他们的数据被苹果获取,他们必须选择退出,这听起来类似于谷歌和OpenAI的政策。苹果还表示,它不会提供网上流传的社保和信用卡号码,也不会理会「脏话和其他低质量内容」。(The Verge)

    苹果和 Meta 或因未能遵守数字市场法案面临被欧盟指控

    布鲁塞尔当地时间6月14日消息, 据三位知情人士周五表示,欧盟很可能因未能遵守前不久刚刚生效的数字市场法案(DMA)而面临指控。欧盟的调查针对的是苹果的指导规则,监管机构称,苹果的指导规则施加了限制,阻碍应用程序开发商告知用户其应用商店之外的免费优惠,以及向应用程序开发商征收的新费用。

    DMA 要求大型科技公司为较小的竞争对手开放竞争空间,并让人们更容易在社交媒体平台、互联网浏览器和应用商店等相互竞争的在线服务之间转换。

    消息人士称,欧盟监管机构将在8月份暑假前发布类似反垄断指控的初步调查结果,首先受到指控的是苹果,其次是Meta。委员会和Meta拒绝置评。苹果引用了其 3 月份的声明,称其有信心其计划符合 DMA,并将继续与委员会进行建设性接触。(路透社)

    DeepMind 最新研究提出用混合架构的方法解决 Transformer 模型的推理缺陷

    DeepMind发表了一篇名为【当 Transformer 遇见神经算法推理机】的论文,提出用混合架构的方法解决Transformer模型的推理缺陷。将Transformer的NLU技能与基于GNN的神经算法推理器(NAR)的强大算法推理能力相结合,可以实现更加泛化、稳健、准确的LLM推理。

    当 Transformer 执行算法形式的推理时,这种语言模型仍然很脆弱,因为计算必须精确且稳健。为了解决这一限制,该团队提出了一种新颖的方法,将 Transformer 的语言理解与基于图神经网络 (GNN) 的神经算法推理器 (NAR) 的稳健性相结合。当以图形形式指定时,此类 NAR 被证明是有效的算法任务通用求解器。为了使 Transformer 可以访问它们的嵌入,研究者提出了一种具有两阶段训练过程的混合架构,允许语言模型中的标记交叉关注来自 NAR 的节点嵌入。研究者在 CLRS-Text(CLRS-30 基准的基于文本的版本)上评估了得到的 TransNAR 模型,并证明了在算法推理方面比仅使用 Transformer 的模型有显著的提升,无论是在分布内还是分布外。

    论文地址:

    https://arxiv.org/abs/2406.09308

    Tempus AI 在纳斯达克首次亮相,市值约为 66 亿美元

    Tempus AI 是一家医疗诊断公司,利用人工智能解读医疗测试,帮助医生为患者提供更准确的治疗。该公司于6月14日纳斯达克股票市场首次亮相,股票代码为「TEM」,涨幅高达 15%。6月13日,Tempus AI 以每股 37 美元的价格发行了 1110 万股,处于其最初 35 至 37 美元的目标区间的上限。该公司以略高于 60 亿美元的隐含估值筹集了 4.1 亿美元。该公司早期的涨幅使估值高达 70 亿美元,但其首个交易日收盘上涨近 9%,市值约为 66.5 亿美元。

    Tempus 认为,人工智能可以与患者的医生一起帮助指导疗法的选择和治疗决策。2023 年,该公司的总收入为 5.318 亿美元,净亏损为 2.141 亿美元。(CNBC)

    Sakana AI 即将获得新一轮1亿美元融资,估值达10亿美元

    据报道,日本生成式AI初创公司Sakana AI即将获得一笔新的重大投资,估值将达到约1800亿日元(约合83亿元人民币)。这使得该公司估值超过10亿美元,有望成为日本增长最快的「独角兽」企业。

    Sakana AI的主要投资者包括对OpenAI等公司进行初期投资的风险投资家。他们计划在本月底之前向Sakana AI投资约200亿日元。

    据三位直接了解情况的人士称,Sakana 由谷歌 DeepMind 的校友于2023年创立,正在由 New Enterprise Associates 和现有投资者 Lux Capital 和 Khosla Ventures 共同牵头的新一轮融资中筹集约1亿美元。据知情人士透露,这轮融资的估值约为 10 亿美元,但尚未产生收益。(The Information)

    由 CSDN 和 Boolan 联合主办的「2024 全球软件研发技术大会(SDCon)」将于 7 月 4 -5 日在北京威斯汀酒店举行。

    由世界著名软件架构大师、云原生和微服务领域技术先驱 Chris Richardson 和 MIT 计算机与 AI 实验室(CSAIL)副主任,ACM Fellow Daniel Jackson 领衔,BAT、微软、字节跳动、小米等技术专家将齐聚一堂,共同探讨软件开发的最前沿趋势与技术实践。