當前位置: 妍妍網 > 碼農

OpenVINO™ 助力 Qwen 2 —— 開啟大語言模型新時代

2024-06-08碼農

點選藍字

關註我們,讓開發變得更有趣

排版| 李擎

OpenVINO™ 助力 Qwen 2

—— 開啟大語言模型新時代

就在剛剛,阿裏魔搭社群釋出了全新的 Qwen 2 系列模型 ,作為 Qwen 及魔搭社群的重要合作夥伴,OpenVINO™ 一直致力於賦能開發者高效搭建人工智慧解決方案,助力大規模語言模型的效能提升和套用擴充套件。

接下來,由小編來為大家介紹本次 Qwen 2 的釋出亮點並全面講解 OpenVINO™ 對於 Qwen 2 的強力支持。

OpenVINO™

Qwen 2 全新釋出,OpenVINO™ 強力支持,

賦能開發者高效開發!

Qwen 2 是阿裏雲釋出的最新大語言模型系列,涵蓋了從 5 億 到 720 億參數 的模型。據阿裏雲介紹,Qwen 2 在一系列針對語言理解、語言生成、多語言能力、編程、數學和推理的基準測試中,都展現出了不錯的能力。為了充分發揮這些模型的潛力,OpenVINO™ 提供了以下支持:

1. 高效推理加速: OpenVINO™ 透過其最佳化的推理引擎,顯著提升了 Qwen 2 在各種硬體平台上的推理效能。無論是在數據中心還是邊緣裝置上,在OpenVINO™ 的加持下,都展現出低延遲、高吞吐量的能力。這對於需要即時響應的大語言模型套用場景尤為重要,如智慧客服、即時轉譯和智慧助手等。

2. 跨平台相容性: OpenVINO™ 支持多種硬體架構,幫助 Qwen 2 模型可以在不同的硬體環境中高效執行,滿足各種套用場景的需求,幫助開發者可以在不同平台之間無縫遷移模型,充分利用現有硬體資源,降低部署成本。

3. 易用的開發工具: OpenVINO™ 提供了一整套開發工具,使得 Qwen 2 的開發者可以方便地進行模型轉換、最佳化和部署,縮短開發周期,快速實作模型的實際套用,自動化地處理許多復雜的最佳化任務,開發者只需要專註於模型設計和套用開發即可。

4. 豐富的社群資源: 作為開源社群的一部份,OpenVINO™ 和 Qwen 2 擁有豐富的文件、教程和範例程式碼,幫助開發者快速上手並充分利用其功能。

OpenVINO™ + Qwen 2 快速上手教程: https://github.com/openvinotoolkit/openvino_notebooks/tree/blogs_supplementary/supplementary_materials/qwen2

想即刻動手體驗 OpenVINO™ 和Qwen 2 的小夥伴可以移步

OpenVINO™ + Qwen2-1.5B 模型演示效果:

OpenVINO™ + Qwen2-7B 模型演示效果:

OpenVINO™

OpenVINO™ 攜手 Qwen2.0,

更多精彩活動即將呈現

在 Qwen 2 釋出之後,OpenVINO™ 將繼續與 Qwen 和魔搭社群緊密合作,在未來,推出一系列豐富多彩的活動,幫助開發者深入了解和套用 Qwen 2 及 OpenVINO™ 的最新技術。